Símbolo e imagen de la ciudad de Alcaudete, tiene su origen en la época emiral, levantándose una impresionante fortaleza que alcanzaría fama de inaccesible en el período califal. "Alcaudete es un fuerte considerable -escribió el historiador Al-Idrisì-, construido al pie de una montaña que mira al Occidente, y donde hay un mercado muy frecuentado". El alcázar fue centro de protección de una medina comercialmente muy activa, y fue militarmente codiciado tanto por musulmanes como por cristianos 
Tras la conquista cristiana por Fernando III, en 1246 será entregado por la corona a los freires de la Orden Militar de Calatrava. Estos edifican el castillo medieval que ha llegado hasta nuestros días en estado original, sobre el alcázar almohade, (del cual se conserva la muralla) siendo un exponente de fortaleza de frontera del S. XIII-XIV. 
Así mismo, las defensas de la villa que circundaba la zona habitada se reviste de muros de mampostería, lo que supone un reforzamiento de las primitivas estructuras, que a partir de estos momentos incrementan su resistencia ante posibles ataques con piezas de artillería. El alcázar mantendrá, en líneas generales, su antigua fisonomía, aunque siendo utilizado ahora como antemuro y basamento del nuevo castillo. 
Sus murallas conservan los adarves o camino de guardia que permiten recorrer todo el recinto y acceder al interior de las seis torres que defendían los paramentos. La puerta principal, situada en el extremo Norte, está defendida por dos torres de planta cuadrada con sus esquinas externas redondeadas. Una vez franqueada la puerta principal, accedemos directamente a un pasillo-foso fortificado, configurado por las murallas del propio castillo y por otros lienzos que intentan aislar y defender una zona central, que se encuentra más elevada que el resto de la fortaleza. Este área se configura a modo de terraza, localizándose en ella los elementos más representativos de la fortificación, como son la torre del homenaje, sala capitular o refectorio, cuerpo de guardia y los accesos al adarve. 
En el siglo XVI, los Condes de Alcaudete, construyen en su interior un palacio, sin que estas nuevas obras afectaran de manera sustancial a las estructuras calatravas medievales. 
Fue declarado Monumento Histórico en 1985.