Emplazado sobre una escarpada peña al norte del casco urbano de La Peza, de este castillo, formado por dos recintos, quedan importantes elementos que nos dan idea de su perímetro. Del primer recinto, el exterior, se conservan restos de la muralla de mampostería que lo cerraba al norte. En el segundo recinto, hay restos de muralla de tapial al sudeste y de tres torres. Una de tapial sobre base de mampostería al este, hueca, de la que quedan dos de sus caras. Entre la muralla anterior y esta torre debía encontrarse la puerta de acceso al recinto. La segunda torre, situada al noreste, es de tapial de cal y canto, también hueca y de la que sólo se conserva su cara norte. La tercera, ubicada al sudoeste, es la de mayor tamaño, siendo maciza y construida de mampostería árabe la parte baja y cristiana la zona alta, teniendo en esta parte reforzadas las esquinas con cantería.
En el centro de este recinto se sitúa el aljibe, de planta rectangular y dimensiones interiores de 4,8 x 3,4 metros. Sus muros están construidos de hormigón de cal y no conserva restos de la bóveda que lo cubría.
El castillo de La Peza, por su situación geográfica, ha constituido a lo largo de la historia un punto estratégico de gran importancia, ya que cubre el paso entre la Hoya de Guadix y la Vega de Granada.
