De lo que fuera una descomunal fortaleza del siglo XV, y señorío de Doña Berenguela, tan sólo se conserva la torre y parte del foso y la muralla, con anchos muros de sillar, canto rodado y argamasa.
Está situado a las afueras del pueblo, muy cerca de la iglesia principal. Mandado construir por orden de Fadrique Enríquez, Almirante de Castilla, que había recibido la villa de manos de Juan II en 1431.
Pasó a la Casa de Alba por el matrimonio de doña María Enríquez, hija del Almirante de Castilla, con el primer duque de Alba. A finales del siglo XVIII pertenecía a la marquesa de Villafranca, quien en 1797 firmó un documento en el que autorizaba al vecindario a colocar en su torre las campanas de la parroquia «por hallarse de inmediato a la capilla que ha construido en la referida villa».
Se trata de un pequeño castillo de estilo gótico formado por una torre de planta cuadrada rodeada por un doble recinto. La barrera exterior se encuentra semiderruída y muy desgastada en los tramos conservados.
Mejor estado de conservación presenta la torre central, en cuya parte superior se abren ventanas de amplia flecha. La muralla y los muros interiores y la torre se ejecutaron en cal y canto, ante la falta de piedra de talla en la zona.
Si bien todos los ángulos, las jambas de las aspilleras, troneras, portón y poternas se construyeron con sillares de granito tallado de buena factura. Estaba almenado en todo su contorno y rodeado por un foso de agua. Tanto la muralla exterior como la torre y su primitiva construcción se pueden datar del siglo XV. La torre sufrió en el XVIII obras que la convirtieron en campanario parroquial.
A finales del siglo XVIII pertenecía a la marquesa de Villafranca, quien en 1797 firmó un documento en el que autorizaba al vecindario a colocar en su torre las campanas de la parroquia.
Este castillo fue declarado Bien de Interés Cultural en 1949 pero tan sólo se conserva la torre y parte del foso y la muralla.