De este castillo aún queda en pie una torre construida en mampostería, y sillares en los ángulos. Es de propiedad privada, de los duques de Alba.
En solitario y con dominio absoluto sobre el cauce del río Tormes, se alza la sólida torre fuerte de los Dávila y Guzmán a quienes el rey Enrique III el Doliente les concediera el señorío de la Villa.
Fue construido en el Siglo XV, es de planta rectangular, muros de mampostería granítica con refuerzos de sillería en los ángulos, rematado por almenas y voladizos matacanes en lo alto de los muros.
En otro tiempo Cespedosa era frontera entre Castilla y León.
La vía más fácil para llegar al Castillo es la que sigue la calle de la Fuente hasta el final – llamada así por la presencia de una magnifica fuente abovedada, construida en el Siglo XVII – continuando después, los escasos metros que restan, campo a través. Se cuenta una historia sobre los dueños del Castillo, parece que estuvieron en guerra con los del Castillo próximo de Salvatierra por «cuestiones de amores de sus hijos.»