Frente a las cuevas de los Algarbes, en el margen opuesto del río, también de época almohade a tenor de la cerámica que aparece por la superficie, se encuentra la fortaleza del Cuervo. Se sitúa en el cerro del Castellón, a la derecha del Barranco Corvo, bajo el Puntal del Cuervo y frente a la actual población de Gorafe. Se sitúa en un cerro de forma ligeramente triangular, con pendiente descendiente hacia el norte.
Algunos autores consideran que podría tratarse del primitivo emplazamiento de Gorafe al observarse hasta tres recintos en la actual configuración topográfica. El ubicado más al norte sería el del poblado, el del sur correspondería con la albacara, mientras que el situado en el centro correspondería al recinto militar. Todos lados, excepto el sur, se encuentran cortados por barrancos, estando muy erosionados los laterales oriental y occidental, con continuos deslizamientos del terreno que han arrastrado los posibles restos del castillo. De los restos de la fortaleza se conservan pocas estructuras en pie. Los restos de la fortaleza son un muro de tapial de cal y canto, de 8,55 metros de largo y 1 metro de espesor y con dirección noroeste-suroeste (UTM x: 495411,7 / y: 4147867,6). Dicho muro forma un pequeño quiebro en su paramento en su lado sureste y, hacia la mitad, entesta otro de iguales características y dimensiones que el anterior, con un metro de longitud, siendo el ángulo del encuentro de ambos muros algo menor de los 90 grados. Ninguno de los tres extremos de los muros descritos forman esquina, terminando los del más largo en la junta de los cajones de tapial. El extremo sureste de éste último se prolongaría hasta el borde del barranco, donde se ven los restos de una posible torre, apreciándose un trozo de muro en voladizo sobre el cortado y relleno de piedras hacia el interior. Estos últimos restos se encuentran a punto de deslizarse y caer al vacío.
Estas estructuras defensivas protegerían el acceso al recinto. La configuración orográfica evidencia la posible existencia de un foso defensivo al sur de estas estructuras.
