La primera parte de esta Casona la construyó un señor de apellidos ÁLVAREZ ARMENTA en 1650 y la continuó don ANDRÉS DE MADARIAGA y MORALES, CONDE DE PESTAGUA hacia el año 1750.

Fue rico, influyente y uno de los "Ilustrados" que con más saña persiguió a los Jesuitas. Fue comisionado en 1767 para notificarle a la Congregación en Mompox de su expulsión de éste y de todos los dominios del Rey Carlos III de España. El Conde era entonces Alcalde de Cartagena por designio del Rey. En 1769 le fue concedido por cédula real el Título de Conde de Pestagua.

Vivió muchos años en ésta casa disfrutando de los privilegios que le otorgaba la Corona: compra y venta de esclavos, importación de harina de trigo, tabaco y venta de aguardiente, pues compartía con el Marqués de Valdehoyos la propiedad del Alambique.

La Casa de Don Andrés de Madariaga y Morales, Conde de Pestagua, identificada hoy con el número 33‐29 de la Calle de Santo Domingo o Calle Real como se le llamaba en la Colonia, con su portal alto de prestigio y un balcón largo, símbolo de nobleza, es considerada como de primer orden dentro del conjunto amurallado.

El primer piso se destinaba a la servidumbre, esclavos y caballerizas. En el patio de entrada aún se encuentra el gran Aljibe donde se almacenaban las aguas lluvias que los techos recogían, pues Cartagena no contaba con un acueducto y esta casa suministraba el precioso líquido a las casas aledañas que el Conde construyó posteriormente.

Las escaleras imponentes conducen al segundo piso donde se encontraban las habitaciones del Conde y su familia y el gran Salón de Bailes y Reuniones, con rico artesanado en el techo, típico elemento de la arquitectura de Cartagena.

Ha sido casa de habitación de personas importantes. Hacia 1919 vivió en ella como inquilino Don Luis Patrón Rosano, Humanista Pedagogo y Gobernador de Bolívar en dos ocasiones. El propietario era Don Mauricio Toledo.

Pasó por sucesión entre los descendientes de don Andrés hasta 1940 cuando el presbítero Camilo Villegas Ángel "compró esta casona, alta de materiales, de antiguas construcciones, con techo de tejas, mampostería de cal y canto". Como reza la escritura de la época; y vivió en ella como casa cural por varios años hasta que se la vendió a la Congregación Terciaria Capuchinas de la Sagrada Familia y fue su convento otros tantos años. Hasta que en 1981 pasó a ser propiedad de doña EPIFANÍA O. DE BERDUGO y sede del Colegio Sagrado Corazón de Jesús.