Com raizes na família Giraldes de Idanha-A-Nova, e vinculos as figuras antigas de São Hermenegildo e Amalarico, reis dos Visigodos, o morgadio de Oledo começou no ano 1602 na pessoa de Antão da Fonseca Leitão. Em 1624, todos os membros desta família foram condenados pela justiça devido à morte do filho do Comendador e Alcaide-mor de Castelo Branco. Antão da Fonseca Leitão e sua mulher foram condenados à pena de oito anos de degredo para o Brasil. Pedro Afonso Leitão, que era o primeiro filho de Antão Fonseca Leitão, morreu andando fugido da justiça.
Manuel da Fonseca Leitão, o segundo filho fugiu para Castela, andou por Roma e voltou a Portugal após obter o perdão do rei D. João IV, tornando-se o 2º Administrador do Morgado de Oledo.
No livro A Casa da Graciosa, Luís Bívar Guerra, descreve Manuel da Fonseca Leitão como um homem de costumes violentos que impunha a sua vontade como um senhor feudal. Ele e o seu irmão, João da Fonseca Leitão, cometeram no lugar de Oledo, várias tropelias com consequências graves, motivos pelos quais caíram na alçada da justiça.
No seu regresso a Portugal, após ter sido perdoada a pena, foi viver para a vila do Sabugal, tendo aí uma filha bastarda, que legitimou e a quem proporcionou esmerada educação e deu o nome de Maria da Fonseca Mendonça.
Após o nascimento da sua filha, para além de se tornar um bom pai, dedicou-se à administração do morgadio de Oledo, tendo-o valorizado.
O 2º Administrador do Morgado de Oledo faleceu em 1673 na vila do Sabugal, tendo-lhe sucedido, a sua filha Maria da Fonseca Mendonça como 3ª administradora deste Morgadio.
Passado umas gerações, o morgadio acabou nas maos da pessoa de Francisco de Fonseca Coutinho e Castro de Refoios, o Visconde de Portalegre. Uma figura que fazia parte da historia de Oledo na segunda metade do século 19 antes da sua morte em 1889. O Visconde e o Pai participaram nas guerras civis e na política da região. O Visconde favoreceu Oledo e foi responsavel pela construcção da igreja matriz (1895), chafariz e muitas outras construcções na aldeia. Morava na casa senhorial da Rua do Correo, e hoje jaz no cemiterio velho de Oledo.
A casa da Quinta da Alvarinheira foi construida por volta de 1890, 
presumivelmente pela filha do Visconde, D. Ana Delfina, esposa do Coronel Joaquim de Castro.
Este foi chefe do Estado-maior da 1.ª divisão militar, conselheiro do 
D. Carlos (ultimo Rei) cujos filhos D. Luís e D. Manuel aprenderam com ele as artes militares. Presente no regicidio de Outubro, 1910, o Coronel tentou defender o seu aluno D. Luís, atirando no assassino sem suçesso. Em gratidão foi lhe oferecida a arma do Principe assassinado. Na transição para Republica, o Coronel retirou-se da vida metropolitana e refugio-se na quinta até ao fim da sua vida.
O filho dele, Francisco de Castro, também militar, geriu a casa durante a sua carreira de Coronel de cavalaria.
Ao morrer em 1954, a esposa continuo a viver e a desfrutar da quinta ate o fim da sua vida em 1980. Não tendo filhos, a casa passou para o sobrinho desta ficando deshabitada durante 30 anos.
Hoje os descendentes da familia recuperaram novamente a quinta, voltando ela a ter a sua importancia na comunidade e historia de Oledo.
