El Castillo andalusí de La Calahorra, que ocupaba gran parte de la cumbre del cerro de La Calahorra o del Castillo, se encontraba en buena medida bajo el más conocido castillo-palacio de comienzos del siglo XVI. De él subsisten escasos restos de muros y torres conservados después del desmantelamiento que de la fortaleza hizo el primer marqués del Zenete, cuando construyó el Castillo-Palacio renacentista. Los restos que se conservan de este castillo están totalmente abandonados y prácticamente desconocidos ante la importancia arquitectónica de la mole renacentista que se construyó sobre él.
Por su situación estratégica que domina gran parte del Marquesado y por la extensión de los restos que afloran en el cerro, este castillo debió tener una gran superficie. Las partes de los muros y torres que se conservan se concentran en la zona noroeste y norte, saliendo los restos de las laderas del monte. En esta última dirección, en el extremo de la plataforma, se encuentra la base de lo que parece ser un gran bastión, quizás el correspondiente a la torre del homenaje, con unas dimensiones de 9,35 metros en su cara norte y hasta 5,95 metros en la este, ya que se pierde en el relleno del cerro. Todo está construido de hormigón de cal muy sólido, observándose los agujeros de los mechinales en la gran torre norte. Es posible que se trate de los cimientos sobre los que luego se elevan los muros de tapial.
En el centro y al oeste aparecen dos pequeñas albercas con muros de hormigón de cal, posiblemente posteriores. Delante del extremo suroeste del castillo renacentista y formando ángulo, se observan los restos de un muro de mampostería enrasado en el suelo, quizás correspondiente a los cimientos del cierre del castillo árabe por esta zona.
Muy posiblemente existiese una población en el interior de la fortaleza, dada la gran cantidad de restos de tejas y mortero de cal de las viviendas que se encuentran, sobre todo en la zona norte. Dada la gran cantidad de material de relleno que cubre la cima del cerro, deben ser muchos los restos de la antigua fortaleza que aún queden debajo. Por otra parte, es lógico pensar que para la construcción del castillo-palacio renacentista, se reutilizase la mayor cantidad posible de material de la fortaleza medieval, sobre todo lo concerniente a mampuestos y a tejas.
