En la actual Plaza de los Huérfanos se encuentra unos restos de lo que en su día perteneció a una de las puertas de acceso a la Capital del Santo Reino, la Puerta de Baeza. Dicha puerta está localizada en el tramo de la muralla existente entre la Puerta de San Agustín, que se encontraba situada en la actual Plaza de los Jardinillos, y la Puerta del Sol, junto al Pilar del Arrabalero, donde una antigua muralla discurría a lo largo de la actual calle Millán de Priego en dirección noroeste.
La puerta se describía como "dos puertas en una dispuestas de modo que ninguna se descubre de frente", o dicho de otro modo, era una puerta que, debido a su anchura, tenía doble entrada: un pequeño postillo por donde pasaban las personas, y otra entrada más grande por donde circulaban las bestias y los vehículos. Estas puertas eran separadas por una columna para realizar un control más exhaustivo de las personas y mercancías que entraban y salían de la ciudad. Se sabe que la puerta contaba con arcos de ladrillo, estaba flanqueada por dos torres almenadas, y era defendida por un cantón y torreón adelantado.
Especial importancia obtuvo la Puerta de Baeza en el siglo XIV, cuando los judíos fueron objeto de persecuciones, lo que hizo que el pueblo judío aproximaran sus casas a esta puerta. Durante mucho tiempo, la Puerta de Baeza daba acceso al barrio de la judería, siendo la entrada principal a esta.
Entre los muros de la puerta se sitúa una de las leyendas más curiosas y esotéricas que se conservan. Se dice que unos ganaderos que estaban de viaje pidieron pasar la noche en una casa entre la plaza de los Huérfanos y la calle del mismo nombre. Aceptando la dueña por la generosa retribución que le ofrecían los pastores, estos se alojaron en el sótano, como ellos querían.
A media noche la hija de los dueños se despertó y oyó unos extraños susurros que procedían de los sótanos de la casa, y sigilosamente descendió hacia ellos y vio, sin que los hombres se percataran de su presencia, como estos se encontraban alrededor de una vela encendida y pronunciaban unas palabras en un idioma que no comprendía. Tras las palabras y el ritual se abrió mágicamente uno raja en los muros; sin pausa, los pastores entraron por la grieta y al poco salieron cargados de monedas, joyas y otros objetos preciosos.
Apagaron la vela y entonces la brecha del muro se cerró. Al día siguiente los ganaderos abandonaron la casa, y la muchacha, que había memorizado las extrañas palabras que oyó pronunciar, pidió a su madre, tras decirle escuetamente lo que había visto, que la acompañara al sótano esa misma noche. Encendió la vela, que estaba ya muy pequeña por el uso de los pastores, y repitió el ritual que había observado, pronunciando las palabras mágicas; entonces, efectivamente, se abrió de nuevo el muro, ante el gran asombro de la madre.
Mientras que la madre se quedó sosteniendo la vela, la hija entró en la cueva y deslumbrada ante el magnífico tesoro que cobijaba se entretuvo, la madre desesperada advirtió que la vela estaba a punto de apagarse, que cogiese cualquier cosa y saliera corriendo, pero la codicia de la joven la entretuvo hasta que por fin la vela se apagó sin que la muchacha reaccionara a tiempo ante los gritos de la madre que veía cómo la entrada a la cueva se cerraba. La madre, desesperada, se lanzó hacia el muro, pero este ya era de nuevo una sólida pared de piedra. Allí dentro se quedó la muchacha.
En pleno siglo XXI, un puente de madera invita a cruzar los restos arqueológicos que se hallan bajo el mismo, al igual que lo hacían nuestros antepasados a lo largo de la historia.
