El Castillo Palacio tiene forma de cuadrilátero que cuenta con cubos en los ángulos y torrecillas cuadradas en la muralla. En su interior, se conserva el Palacio de los Ponces, cuya primitiva construcción se remonta al siglo XIII. Parece ser que este castillo tuvo un origen medieval pasando, en época posterior, a ser el centro de administración del señorío de Alija.
La fortaleza se documenta ya en el año 931 e irá conociendo sucesivas reedificaciones y reformas, siglos XIII, XV y XVI. Fueron los Ponce, señores de Alija, los que en el S. XIII construyeron el actual castillo, pero reformado en el siglo XV por los Duques del Infantado que lo convierten en Castillo-Alcázar.
Es una construcción perteneciente al linaje del Infantado que data de la segunda mitad del siglo XV o principios del XVI. Según varios autores fue obra de Bernardino Pimentel Enríquez hacia 1514. Se construyó como defensa del territorio y posterior Señorío de Alija.
De planta cuadrangular, la portada de tres arcos apuntados es del XIII y del XV son las reformas y mejoras realizadas por el Duque del Infantado.
En la muralla se elevan dos pequeñas torres. Dentro del recinto se encuentra el Palacio privado de los Ponce, cuya construcción primitiva se remonta al siglo XIII. Esta vasta edificación, poderosamente amurallada y de gran simetría que contó con trece torres, ha constituido un importante signo de identidad de la villa de Alija del Infantado.
Fue incendiado por los ingleses en 1810 en la Guerra de la Independencia y en 1887 sufrió otro incendio. Fueron los señores de Alija, entre otros, los Ponce, los Rodríguez Neyra, los Quiñones, los Pimentel, los condes de Benavente y marqueses de Tábara, los Duques del Infantado, los Duques de Pastrana, etc.
Las aventuras y episodios acaecidos en este lugar son variados. El 29 de diciembre de 1808 los ingleses tras cañonear el Puente de la Vizana incendiaron Alija y su castillo en su retirada al noroeste, quizás porque en aquel momento el Duque del Infantado, Pedro Alcántara de Toledo, era leal vasallo al rey francés, José Bonaparte. Después del incendio de 1810 en la Guerra de la Independencia, el castillo se reconstruyó, pero en 1887 sufrió otro incendio y las ruinas se fueron adueñando de él. Hoy día se encuentra restaurado.
Visitas: Para grupos se realizan visitas guiadas que se organizan desde la oficina de turismo localizada en el ayuntamiento. Teléfono 987 66 72 01
Para visitas individuales hay que localizar a los vecinos que viven junto al castillo que son los que tienen la llave. La visita es libre y gratuita.