En el casco antiguo se encuentran los restos del castillo de Gor. Construido en época nazarí (se cita como tal fortaleza en época de Muhammad II al que fue entregada por parte de los benimerines), tras su rendición a manos cristianas en diciembre de 1489, pasó a ser la residencia de los señores de Gor. El Libro de Apeos del 20 de diciembre de 1571 dice tiene una fortaleza con quatro torres y tiene buenos aposentos y con muchas rejas y bien aderezada, en donde vive don Diego de Castilla con su mujer e hijos. Tiene una planta sensiblemente cuadrangular, disponiendo de torres cuadradas en las esquinas. En 1847, Madoz lo describe como «casa solariega de los espresados duques (de Gor), que es un estenso cuadrilongo con torres algo salientes en los ángulos que miran al O. Su aspecto exterior parece que revela comodidad y recreo; mas por dentro es una habitación incómoda, desabrigada, y mal distribuida, con un gran patio que da luz á las piezas interiores del segundo y tercer piso: la mayor parte de sus estancias han servido solo para graneros, y una huerta en todo el terreno que lo circunda, en declive por la parte del rio.»
Según los restos originales conservados, su obra era, al parecer, toda de tapial, si bien las transformaciones posteriores han introducido otros materiales. La torre del ángulo sudoeste era la principal y junto a ella debió localizarse la entrada. La torre noreste está construida con mampostería y la del ángulo sudeste se encuentra transformada por una vivienda próxima. De sus cuatro lados, se ha perdido casi por completo el orientado al este, estando el lienzo oeste muy rehecho y ataluzado con obra de mampostería. Las fachadas orientadas al norte y sur, conservan la mayor parte de sus muros de tapial, aunque parcialmente ocultos por enfoscados modernos de cemento. De los cuatro torreones falta el del ángulo noreste y parte del sudeste. El situado en el ángulo sudoeste se encuentra recalzado, parcheado con mampostería y ataluzado con fábrica de ladrillo, si bien conserva importantes restos de tapial en su parte alta. Todos los coronamientos, tanto de muros como de torres, se han crecido con mampostería y hormigón hasta una determinada altura, en las obras que convirtieron el antiguo castillo en plaza de toros y que han configurado su aspecto actual. El estado general de conservación de este castillo es malo. Las reparaciones posteriores a la conquista, las realizadas mientras fue propiedad de los duques de Gor y, sobre todo, las obras de adaptación a su función actual, han transformado, ocultado y desfigurado la primitiva planta.
