A mediados del siglo XVII, la ciudad de Lima contaba con una población de 35 mil habitantes, cantidad que se iba incrementando con la llegada de miles de variopintos personajes atraídos por las noticias de prosperidad y riqueza. Debido a los traficantes de esclavos, una parte importante de estos inmigrantes venían de la costa atlántica de África occidental, que se clasificaban por castas: Congos, Mandingas, Carabalíes, Mondongos, Mozambiques, Terranovas, Minnas y Angolas.

En 1650, los angolas fueron llevados a la zona de Pachacamilla -llamada así porque allí habitaron los indígenas de la zona prehispánica del dios Pachacamac donde actualmente se yergue el Monasterio de las Nazarenas, casa del Señor de los Milagros. Se instalaron y organizaron de tal forma que construyeron sus toscas cabañas o callejones divididos en habitaciones. También estaban reunidos en cofradías, en las cuales, luego de la dura jornada de trabajo, rendían culto a distintas imágenes o santos católicos. En estos actos litúrgicos también recordaban su libertad y cantaban con nostalgia en su lengua original canciones antiguas de sus tierras natales.

También se ocupaban de sus enfermos y se preocupaban de que todos tuvieran un entierro decente, mediante pequeñas cuotas de cofrades.

En el año 1651, cuando reinaba el papado de Inocencio X, en el Perú el virrey García Sarmiento de Sotomayo y como arzobispo de Lima, Pedro de Villagómez, los negros angolas se agremiaron y levantaron el local de su cofradía en la referida zona de Pachacamilla, en las afueras de Lima. En la sede de la cofradía, en una de sus paredes de adobes del galpón, un negro esclavo angoleño plasmó la imagen de Cristo crucificado para orar, presidir las reuniones de la cofradía y presentarle ofrendas. La imagen fue pintada al temple en una pared tosca, cerca de una acequia de regadío, de un acabado imperfecto. Además hay que resaltar que el anónimo pintor no tuvo estudios completos de pintura, y que ejecutó la obra por su propia fe e inquebrantable devoción a Cristo.

Detrás del galpón transcurría una acequia, humedeciendo aún más el ambiente y carcomiendo de manera paulatina el rudimentario muro de adobe. A pesar de esa dificultad el anónimo esclavo, convertido espontáneamente en pintor, plasmó la impresionante figura de Cristo Crucificado que de inmediato enfermos y se preocupaban de que todos tuvieran un entierro decente, mediante pequeñas cuotas de cofradía.

Poco a poco la población de Pachamamilla fue conociendo la pintura mural y no faltó quien, conmovido por la imagen y viendo el pobre lugar donde se encontraba, dejara al pie algunas flores como ofrenda y se detuvieron a rezar unas plegarias.

Así de simple y con gran sencillez, nace la imagen de mayor devoción limeña y símbolo del Perú. El muro en que se pintó era en el terreno de Hernán Gonzáles y servía de medianera con la casa huerta de Don Diego Tebes Montavo Manrique de Lara.

El terremoto de 1655 y el inicio de la veneración. El 13 de noviembre de 1655, a las 14:45 horas, tuvo lugar un terrible terremoto que estremeció Lima y Callao, derrumbándose templos, mansiones, viviendas y ocasionando miles de víctimas mortales. El sismo afectó también la zona de Pachamamilla y todas las paredes del local de la cofradía se vinieron abajo, produciéndose entonces el milagro: el débil muro de adobe en donde se erguía la imagen de Cristo quedó intacto.

Detrás del galpón transcurría una acequia, humedeciendo aún más el ambiente y carcomiendo de manera paulatina el rudimentario muro de adobe. A pesar de esa dificultad el anónimo esclavo, convertido espontáneamente en pintor, plasmó la impresionante figura de Cristo Crucificado que de inmediato fue causa de devoción entre los negros de aquel lugar y adoptado como el patrono de su cofradía.

Fue a partir de esos años que poco a poco se va cultivando una veneración al Señor de los milagros en todo el Perú. Así, el 14 de septiembre de 1671 se ofició la primera misa ante las altas autoridades eclesiásticas y civiles, en la recientemente inaugurada ermita que se erigió por orden del virrey Conde de Lemos, fecha que coincide con el día de La Exaltación de la Cruz.

A comienzos de 1766, por decisiva influencia de la Micaela Villegas conocida como la Perricholi, ferviente devota del Señor de los Milagros, el XXXI Virrey Don Manuel Amat y Junient, fue a visitar la Iglesia de Nazarenas y al contemplar su lamentable estado, decidió la construcción de un nuevo templo para tan portentosa efigie. Entonces Amat apeló al sentimiento católico y a la gran devoción por el Cristo de Pachacamilla para recaudar el dinero necesario para la construcción del templo. La población entregó dinero, alhajas y objetos de oro y plata para ese fin.

El 15 de junio de 1760, en presencia del arzobispo y el virrey, se colocó la primera piedra. Este último examinó con el pueblo limeño, autoridades eclesiásticas y personalmente los planos y diariamente supervisaba las obras. Al término de la obra, el templo -estilo barroco con influencia francesa- fue embellecido con ornamentos eclesiásticos que pertenecieron a la orden jesuita expulsadas en 1767. Finalmente, en el marco de una ceremonia con el pueblo limeño, autoridades eclesiásticas y virreinales, la iglesia de las Nazarenas fue inaugurada el 20 de enero de 1771.

La imagen crucificada de Cristo tenía ya un templo desde el cual irradiaba sus bendiciones y protegía la ciudad. La iglesia nazarena muy pronto se convirtió en un lugar de peregrinación, visitada diariamente por miles de devotos para rezar, pedir o agradecer un favor concedido.

Por iniciativa del Virrey Amat se formaron las cuatro primeras cuadrillas de cargadores  de la Hermandad del Señor de los Milagros. La fundación oficial ocurrió el 3 de mayo de 1766, incorporando a aquellos devotos que espontáneamente cargaban las rústicas andas de madera y vestían el característico hábito morado, con un cordón blanco, llamado "de los Milagros", que se colocaban alrededor del cuello, para recordar la luz divina que los guiaba.

El año 1962 es clave para esta historia. Se constituye por entonces las dos últimas cuadrillas, completando veinte agrupaciones que hoy existen. Cada aglutina doscientos hermanos, organizados según medida de hombro y estatura, por sectores. También integran la Hermandad los grupos de sahumadoras y de cantoras, además de los cerca de trescientos hermanos honorarios. Todos suman alrededor de seis mil cofrades.

Cuando la procesión salió por primera vez, la imagen transportada por sólo ocho hermanos; hoy las andas tienen que ser cargadas por treinta y cuatro. Cada tramo del recorrido varía de 40 a 270 metros, divididos en cuatro o cinco sectores.

La Hermandad registra en sus filas a personalidades espectáculo, el deporte y la policía, incluyendo algunos presidentes de la república. Fue el 17 de octubre de 1986, luego de 299 años de procesión cuando el anda del Señor de los Milagros ingresó por primera vez al Patio de Honor de Palacio de Gobierno para recibir homenaje especial del Presidente.