Durante el califato de Córdoba se levantaron una serie de estructuras defensivas destinadas a frenar el avance cristiano al sur del río Tajo. Esta franja de territorio se llamaba Marca Media o At-Tagr al-Awsat. El territorio del Geoparque Mundial de la UNESCO Villuercas-Ibores-Jara formaba parte de esta tierra fronteriza y el Fuerte de Castros es una de las fortalezas cuyos restos han llegado hasta nuestros días.
La desembocadura del arroyo Pedroso en el Tajo impresiona, tanto por la cascada que forma el río tributario en su último tramo, como por el paisaje circundante. En este lugar, en una elevación situada entre el Pedroso y el Tajo, dominando un enclave estratégico, se ubica el Fuerte de Castros. Se trata de una alcazaba a cuyo alrededor y buscando su protección, se extendía un poblado árabe.
Sus orígenes se remontan a los siglos X y XI, posiblemente mandada construir por Abderraman II en el 918. A pesar de este dato, el apelativo ‘del Castro’ induce a pensar que el lugar estuvo ocupado anteriormente por un asentamiento prerromano. Esta fortaleza formaba parte de las defensas de la Jara y, junto a los castillos de Gualija y Espejel, vigilaba la frontera del Tajo.