El origen de la fortaleza se remonta a la repoblación, ya que contribuiría a conservar militarmente la plaza, donde se asentaron gentes procedentes del norte.
No hay que olvidar que en el pueblo existió el floreciente monasterio de Ageo, de la orden del Císter, que sufrió una razia de Almanzor y la ocupación militar de los templarios.
Los templarios levantaron esta construcción defensiva que contribuiría a conservar militarmente la plaza, de la que actualmente solo queda una torre defensiva que en otros tiempos pudo formar parte de una construcción mayor.
La documentación que probablemente existió sobre la torre se perdió en el incendio que a finales del XIX arrasó la población.
Al parecer, cuando casi todos los habitantes estaban en una romería en el cercano Rosinos, la lumbre que habían prendido unos niños en unas pajas originó la desgracia.