Entre los siglos XI y XV, Mancera de Abajo estuvo ligada a la Comunidad de Villa y Tierra de Ávila, pasando en el primer tercio del siglo xv a formar parte del Reino de León al integrarse en la jurisdicción de Salamanca
La localidad salmantina de Mancera de Abajo se encuentra ubicada a seis kilómetros al sur de Peñaranda, una localidad que sorprende por su intensa historia, engarzada con el origen de la familia Álvarez de Toledo.
De esa relación procede el Palacio de los Marqueses de Mancera, hoy en ruinas, que en su momento fue la Casa de Pedro Álvarez de Toledo, primer señor de Mancera y de las Cinco Villas.
El I Duque de Alba, García Álvarez de Toledo, dejó tras su muerte en 1488 cinco villas en herencia a su octavo hijo, Pedro Álvarez de Toledo y Enríquez. Entre ellas, Mancera de Abajo. Se convertía así en el I Señor de Mancera y las Cinco Villas, iniciando un señorío que tiempo después se convirtió en marquesado, y así se mantiene hasta nuestros días.
Las obras del palacio comenzaron aproximadamente sobre 1498 y finalizaron sobre 1502, debido a unos conflictos con los Reyes Católicos, quienes ordenaron acabar la obra.El palacio está realizado todo él en sillería granítica y contaba con una gran galería de arcos en la parte delantera donde estaba el jardín. Tras la invasión de España por las tropas napoleónicas entre 1808 y 1812, solo quedan las paredes exteriores.
En él vivirán un total de siete generaciones hasta mediados del siglo XVII, momento en el que trasladan su residencia a la Corte Real, en Madrid. En Santo Domingo (República Dominicana), mandaron construir en la ciudad un palacio igual que el de Mancera, y ahora es un museo llamado el Alcázar de Colón.
