Por otra parte la ciudad contaba con otra cárcel en la calle denominada Cárcel Baja, situada entre la calle Elvira a la altura del Banco España y el Pie de la Torre. En ella se encontraba la Alhóndiga de los Genoveses en la zona del edificio de la Caja General, que fue convertida por los Reyes Católicos en cárcel de la ciudad. El 23 de julio de 1769 fue casi destruida por un incendio, aunque renovada tuvo este destino hasta la construcción de la cárcel en las Eras de Cristo. Al desaparecer este edificio, su portada renacentista se instaló en la entrada trasera de la Capitanía General en la Plaza del Padre Suárez.

En el solar que hoy ocupa el Banco España se situaba el convento del Santo Ángel Custodio, trazado por Alonso Cano, y derribado para construir el actual edificio.

El 26 de marzo de 1810 se trasladó aquí la Sala del Crimen por haber sido ocupada la Audiencia por los franceses y a la calle San Jerónimo la Sala de lo Civil.