Desde hace casi un milenio, en una de las impresionantes paredes verticales de la zona occidental de las Villuercas, se alza sobre la villa de Cabañas una fortaleza musulmana. Antaño, desde esta atalaya musulmana, se ejercía el control sobre las rutas y caminos que discurrían entre la sierra de Ortijuela y el valle del río Berzocana, al suroeste, y el valle del Almonte al noreste. Aún resultan espectaculares los restos de la fortaleza que, envueltos en la leyenda, se yerguen en equilibrio sobre los riscos.
El origen de esta fortificación se sitúa hacia el siglo XII, aunque todo apunta a que su construcción se llevó a cabo sobre otra edificación musulmana anterior. Cuando los reinos cristianos reconquistaron los territorios de Trujillo, en el siglo XIV, el castillo de Cabañas pasó a formar parte del Señorío de Oropesa y del Marquesado de Jarandilla. García Álvarez de Toledo, que lo tomó del rey Enrique II, emprendió entonces su reforma. Con el tiempo, el castillo pasaría a manos del Ducado de Frías, por lo que la fortificación pasó a conocerse como castillo de Frías.El emplazamiento de esta fortaleza es especialmente privilegiado, sobre una peña de difícil acceso, con más de 70 metros de altura y dominando dos valles. El relieve natural del terreno suponía una defensa añadida a las propias murallas del castillo. Esto cobraba importancia en la época en la que Extremadura y, concretamente la zona del actual Geoparque Mundial de la UNESCO Villuercas-Ibores-Jara, era considerada tierra netamente fronteriza. Este baluarte se engloba en el complejo sistema defensivo musulmán destinado a defender los territorios andalusíes al sur del Tajo, zona conocida como Marca Media o Al-Tagr Al-Awsat en tiempos del emirato Omeya de Córdoba.