Poco a poco, el cabildo de la Vera Cruz y Sangre de Cristo fue decayendo, mientras que en su seno se formaban distintas hermandades dedicadas al culto de cada uno de los pasos del mismo. Las cuatro hermandades originales fueron las de la Oración del Huerto, Jesús con la Caña, Nuestro Padre Jesús Nazareno y, por supuesto, Nuestra Señora de la Soledad. Estas hermandades fueron tomando cada vez más importancia, hasta que en el siglo XIX acabaron sustituyendo al cabildo en casi todas sus funciones.

La Guerra de Independencia (1808-1814) fue determinante en este proceso. Por un lado, supuso prácticamente la disolución del cabildo; y, por otro lado, obligó a las hermandades a trasladar su sede, ya que la iglesia de San Roque había sido asaltada por las tropas francesas y se encontraba en un estado ruinoso. Este traslado supondría el empujón definitivo para las hermandades, a la vez que la confirmación de que el cabildo vivía una inevitable agonía.

Las hermandades se trasladaron a la Iglesia de la Virgen de la Luz en 1818, aceptando la propuesta del Ayuntamiento de la ciudad, que había recibido la titularidad del templo apenas un año antes. Así comenzaba su existencia como corporaciones independientes, aunque unidas por sus lazos históricos de fraternidad, que alcanzarían una forma concreta el 10 de marzo de 1849, con la fundación de la Archicofradía de Paz y Caridad, entidad heredera del antiguo cabildo, que sigue integrando a todas las hermandades del Jueves Santo hasta nuestros días.