L’edifici consta de planta baixa i tres plantes construïdes damunt dels fonaments d’un convent mercedari del segle XIII. La façana, de gust clàssic, està formada per dos cossos simètrics, amb balconada correguda, situats a banda i banda d’un cos central més endinsat. Té gran diversitat d’elements decoratius: motllures, frontons circulars, sis escuts (Espanya, Catalunya, Barcelona, Tarragona, Girona i Lleida), cornises, finestres falses i reixa d’accés. Hi ha una doble escalinata estil imperi, obra de 1915.
L’Oratori, construït entre 1868 i 1871, és a la segona planta. És d’estil neogòtic florentí. Està dividit en tres naus per mitjà d’esveltes columnes de ferro que generen nou voltes d’aresta, decorades amb pintures murals de l’artista de Tortosa Manuel Marqués realitzades entre 1870-71 amb la col•laboració del jove pintor lleidatà Jaume Morera. A l’igual que els dotze vitralls, presenta tots els moments singulars de la vida de Maria i els seus símbols i dignitats. El retaule, obra d’Hermenegild Jou (1870), va ser restaurat per Ramon Borràs el 1941. La qualitat artística, histórica i religiosa de l’Oratori li han valgut la denominació de “Capella Sixtina de l’Art Marià”. Presideix l’Oratori la Verge Blanca.
A partir de 1895 es realitzaren les obres d’ampliació amb la construcció d’un magnífic Paranimf modernista per a celebrar els Certàmens Literaris, i una impremta per a l’edició dels llibres marians. Finalment, el 1916 es realitzà una nova ampliació per a incloure un Museu i una Biblioteca Mariana. El Teatre, construït l’any 1920, és un exponent de l’Art Decó.
L’any 2003 es van iniciar les obres de restauració i rehabilitació, promogudes pel bisbe Mons. Francesc-Xavier Ciuraneta. El 2 d’octubre de 2006, amb ocasió de la festivitat de la Verge Blanca, va tenir lloc la inauguració de la nova Acadèmia Mariana.
L’any 2010 l’edifici més emblemàtic del segle XIX a la nostra ciutat va ser declarat Bé Nacional d’Interès Cultural per la Generalitat de Catalunya.
