Actualmente en esta ubicación se encuentra la Ermita de la Virgen del Castillo, Santuario situado sobre un castro colgado por encima del profundo cauce del río Duero
Fariza ha sido desde muy antiguo un lugar en el que se han entremezclado varias culturas, de ahí que cuenten son asentamientos preromanos, romanos y árabes en diversos puntos de su territorio, pero especialmente en las zonas próximas al río, concretamente en los alrededores de la ermita del Castillo
De época prerromana sería el antiguo castro vetón de la Virgen del Castillo, sobre el que posteriormente se edificó la ermita que actualmente se conserva en dicho teso, que se levanta sobre un espolón y promontorio excavado al norte por la Rivera de Fariza-Cozcurrita que se ha encajado profundamente en pequeñas cascadas, y que por el oeste se traduce en un acantilado hacia el Duero inaccesible. En su base se hallan la Falla del Figuereo y los Castrilluzos, un asentamiento anterior del tipo Cogotas I.
En la Edad Media, Fariza quedó integrado en el Reino de León, siendo repoblado por sus monarcas en el contexto de las repoblaciones llevadas a cabo en Sayago. Así, la primera referencia documental conservada de Fariza data del reinado de Alfonso IX de León, en el año 1221
El lugar es agreste, accesible por un lado pero enmarcado por dos gargantas profundas que lo hacen impresionante: rodeando la ermita actual que se encuentra en los restos del castro y castillo, cortinas con almendros y algunos olivos y encinas; después peñascos de granito salpicados por enebros precipitándose al vacío. Leemos a la entrada : “Esta ermita se construyó en el año 1803 sobre los restos de una antigua fortificación.
Todos los años en el mes de Junio, se celebra la romería de “los Viriatos”, a la que acuden con sus pendones los pueblos colindantes”.