II existe peu de lieux de pèlerinage à travers le monde qui aient connu un passé aussi impressionnant.
La tradition orale rapporte que Mariazell fut fondée le 21 décembre 1157. On suppose que c'est en 1200, date inscrite au-dessus du portail principal, que la construction de la chapelle romane a débuté. Mais c'est en 1243 qu'il est fait pour la première fois mention de «Cell» dans un document écrit. En 1330, dans un document d'indulgence de Frédéric III, l'archevêque de Salzbourg, il est mentionné que l'église Notre-Dame de Zell est un lieu de pèlerinage très fréquenté et déjà en 1344 le lieu obtient le droit de tenir marché.
L'indulgence complète accordée en 1399 par le pape Boniface IX joua un grand rôle pour Mariazell. Cette indulgence fut octroyée pour la semaine suivant l'octave de l'Assomption, ce qui permit le développement de rites de pénitence et de processions qui restèrent encore vivaces après que l'indulgence fut levée et qui, comme on a pu le démontrer, furent pratiqués jusque dans le baroque. Le flot des pèlerins, lui, ne cessait d'augmenter. Vers 1400, le site comptait déjà près d'une vingtaine d'échoppes d'ex-voto. Près de cent ans plus tard Mariazell faisait partie des lieux de pèlerinage de renommée internationale. Des pèlerins de la Bavière actuelle, de Bohême, de France, d'Italie, de Croatie, de Pologne, d'Allemagne, de Suisse et surtout d'Autriche et de Hongrie venaient, déjà à cette époque, chercher le réconfort auprès de la Vierge de Mariazell.
Après la Contre-Réforme, Mariazell connut un développement exceptionnel prenant valeur de sanctuaire national, car la Maison de Habsbourg avait mis sous sa protection non seulement son destin propre, mais aussi celui du pays et de la population. A l'instar des souverains, les nobles, les bourgeois et même les paysans se mirent en devoir de faire ce pèlerinage. L'église gothique ne pouvant plus abriter les nombreux pèlerins, le révérend père Benoît Pierin de St-Lambrecht se résolut à faire réaliser les travaux d'agrandissement dans le style baroque, qui donnent à l'église d'aujourd'hui son cachet.
En 1948, le lieu se vit attribuer le statut de «ville», non en raison du nombre de ses habitants mais étant donné sa qualité de centre religieux et culturel réputé par-delà les frontières de l'Autriche.
Depuis la chute du rideau de fer, les pèlerins des Etats voisins situés au Sud et à l'Est de l'Autriche sont, eux aussi, à nouveau libres de venir à Mariazell. Le lieu compte à peine 2000 habitants mais le nombre de pèlerins et de touristes s'élève annuellement à plus d'un million.