En 1975, à 65 ans, Charles Billy raccroche ses crayons de dessinateur de lingerie. 7 ans plus tôt, le Palais idéal du facteur Cheval lui a laissé une idée fixe. Sans croquis ni apprentissage de tailleur de pierre, il apprend en faisant, saison après saison, avec des pierres de récupération que Pauline repère avec lui. 

La plupart des édifices recréent un monument que le couple découvre en voyage, quelques-uns ne viennent que de son imagnaire. 

Charles meurt en 1991, 16 années de travail plus tard. Le jardin cesse alors d'être entretenu, jusqu'à son rachat en 2021 par Stéphanie Fito et Dimitri Loisel, accompagnés par la Fondation du Patrimoine pour sa restauration.