La chapelle du berger dont on ignore l'origine exacte du nom, semblerait, d’après la légende avoir été construite au XVIIeme siècle au croisement des chemins conduisant les bergers fresnois sur les lieux de pâturage des Bateaux Flamands. C'est là qu'ils venaient, dit-on, se faire pardonner les querelles qui les opposaient souvent.
A l’intérieur de la chapelle, la statue de la Sainte Vierge daterait approximativement de 1803, mais la chapelle elle-même est bien antérieure. Fort abîmée, elle fut restaurée en 1844 sous l'impulsion d'Adolphe TAFFIN , curé de la paroisse qui paya de ses deniers un tiers du coût des travaux. C'est à partir de 1844 que la chapelle fût placée sous l'invocation de Notre Dame de la divine Grâce.
Lors de l'ouragan qui s’abattit sur Fresnes en mars 1876, les peupliers entourant l'édifice tombèrent détruisant en partie la chapelle. La statue fut recueillie par Charles GHYSSENS, alors âgé de dix-huit ans, qui revenait de Condé où il était allé pour contracter un engagement dans la marine marchande hollandaise. Il fut absent de nombreuses années. La chapelle fut restaurée sous l'autorité de Charles CAPLIEZ, curé de Fresnes, une autre statue de Notre Dame y fut placée et à nouveau vénérée.
En 1911, la chapelle était en très mauvais état. Elle fut abandonnée quelques années. Charles LOHBERGER, qui habitait en face de la chapelle avait recueilli la statue. La dénomination du lieu subsiste encore et figure toujours sur les cartes d'état-major et les plans cadastraux.
Sources : « Quelques pages d’histoire locale » livre des Amis du Vieux Fresnes.
En 1923, une nouvelle chapelle s'inspirant de l'ancienne fut édifiée. Monsieur LOHBERGER y réinstalla la statue en plâtre qu'il avait en sa possession. Un peu plus tard, Monsieur GHYSSENS remit la statue initiale que ses parents et lui même avaient conservée depuis mars 1876.
En 1940, la chapelle fut à nouveau détruite par les balles et les obus durant les combats qui se déroulèrent à Fresnes.
Elle est reconstruite en briques en 1954. Suite aux différents travaux dans la rue et aménagement de la propriété sur laquelle la chapelle est érigée, elle sera de nouveau démontée et reconstruite en 2002.
Puis vint le réaménagement de la rue E. Zola pour le passage du Tramway, les longs véhicules ne pouvant plus accéder sur la propriété, la chapelle fut une nouvelle fois déplacée. Elle fut bénie par Christophe DECHERF Doyen de Condé, le vendredi 14 août 2015.