En 1832, Pauline achète une partie des jardins actuels en même temps que la maison de Lorette.
Cette "maison des collines" abritait un lieu de rencontres intellectuelles et musicales.
Par cet achat, Pauline voulait protéger la colline priante en y installant des maisons religieuses et y hébergea le Rosaire Vivant.
La "Montée du Cardinal Billé" qui relie les jardins du Rosaire et la maison de Lorette, témoigne des épisodes de la construction du chemin à péage tracé par Pauline.