El origen de la ermita se remonta al siglo XVI, teniendo entonces el mismo carácter troglodita que las propias viviendas de su entorno, siendo remozada en los inicios del siglo XX y de nuevo en 1944. En 1964 se inauguró un nuevo templo, anejo a la antigua ermita, convirtiéndose entonces en parroquia. La iglesia es un modesto aunque amplio edificio cuyo interior alberga algunas imágenes y pinturas que recuerdan al gran benefactor y otras figuras veneradas en Guadix por su santidad o relacionadas con la actividad asistencial (San Pedro Poveda, el beato Medina Olmos, San Juan de Dios y Santa Teresa Jornet), y una placa dedicada al que fuera párroco de esta iglesia durante 37 años don Rafael Varón. Por el costado izquierdo se accede a la antigua ermita-cueva, por un estrecho y corto pasillo que acoge en sus paredes modestos recortes y recuerdos del Padre Poveda. La escala arquitectónica, la térmica e incluso la espiritual cambian radicalmente al acceder a este lugar. A pesar de estar toda excavada en la tierra y con un tamaño reducidísimo, no le falta su nave, varias capillas laterales comunicadas por pasadizos, el púlpito saliendo de una de ellas y su pequeño presbiterio, presidido por la Virgen de Gracia, pintura atribuida a Domingo Chavarito, de la primera mitad del siglo XVIII. Esta imagen fue coronada canónicamente como Patrona de las Cuevas en 1960. A los pies del altar se encuentra una reliquia de San Pedro Poveda y alrededor toda una serie de motivos ornamentales de carácter popular. En una de las capillas se encuentra el altar de un Niño Jesús Salvador del Mundo que quedó perpetuado en la memoria colectiva guadijeña a través de una novela de Pedro Antonio de Alarcón, el Niño de la Bola, en la cual se recogen algunas de las fiestas y costumbres ancestrales de este barrio.