Rafael Núñez Moledo nació en la ciudad de Cartagena de Indias el 28 de septiembre de 1825. Núñez estudió derecho en la Universidad de Cartagena y pasó luego a desempeñar una serie de importantes cargos; rector del Colegio Nacional de Cartagena, vicepresidente de la Cámara y secretario de Gobierno durante el mandato de José María Obando. Posteriormente fue gobernador de la Provincia de Cartagena, secretario de Guerra y Marina, y cónsul en Nueva York, entre otros, antes de ser elegido por cuatro veces como presidente de la República. El 13 de junio de 1851 había contraído nupcias con la señorita Dolores Gallego, matrimonio que disolverá luego para casarse por lo civil, el 28 de junio de 1877, con doña Soledad Román, a quien le pertenecía la Casa del Cabrero.
Elegido por primera vez presidente de la República para el bienio 1880-1882, intentó ejercer el poder desde su casa en Cartagena. En 1884 es reelegido y declaró turbado el orden público del país, como consecuencia de los levantamientos revolucionarios en Santander y Boyacá. Un año más tarde la guerra civil era incontenible y Núñez declaró entonces la Constitución de 1863 insuficiente, y convocó un Consejo Nacional de Delegatarios, que se reunió en Bogotá el 11 de noviembre, dispuesto a redactar la nueva Constitución. El 8 de diciembre este consejo eligió nuevamente a Núñez para el sexenio 1886-1892 y presidente provisional para ejercer el poder desde el 31 de marzo hasta el 7 de agosto de 1886, fecha en la que, enfermo, regresó a su Casa del Cabrero, y delegó sus funciones al general José María Campo Serrano. El 4 de agosto del mismo año el Consejo Nacional expidió la nueva Constitución, vigente hasta 1991. Un año más tarde regresó para ejercer el cargo por seis meses, pero afectado por la altura y las críticas, decidió irse nuevamente a Cartagena.
El 11 de noviembre de 1887 se cantó por primera vez el Himno Nacional, compuesto por don Rafael y musicalizado por el italiano Oreste Sindici. En 1888 el doctor Núñez ejerció el poder desde Girardot hasta el 17 de agosto, cuando designó al doctor Carlos Holguín, y pudo regresar a su ciudad natal. En 1892 es elegido por cuarta vez presidente de la República, y muere dos años más tarde, el 18 de septiembre, en su Casa del Cabrero. Se construyó en su honor un mausoleo en La Ermita erigida frente a la casa y dedicada a Nuestra Señora de las Mercedes.
La casa de doña Soledad, en la que vivió Rafael Núñez, es una casona cartagenera construida en madera tradicional, a finales del siglo XIX, y para los especialistas es un ejemplo de la base tipológica sobre la que se aplicó el lenguaje formal de diversas procedencias (jamaiquinas, alemanas e inglesas), migrantes que aportaron parte de sus tradiciones al sistema constructivo. Originalmente tenía un solo piso, donde se encontraban las habitaciones y la cocina. Cuando el presidente va a vivir allí, se le añadieron, también en madera, las habitaciones del piso alto, respetando el mismo lenguaje de ventanas y corredores, los que permiten la entrada de la brisa marina y una permanente frescura. Doña Soledad se dedicó al jardín, donde aún se encuentran algunas de las plantas originales, como la coquera típica de la costa, además de especies que perfuman el aire en las tardes.
Actualmente la Casa del Cabrero funciona como museo. Poco a poco se fueron recuperando los bienes dispersos tras la muerte de doña Soledad, hasta rehacer la casa como la habitó, quien fuera por cuatro veces presidente de la República.