Gelasio ha inoltre finanziato restauri dell'ex-Municipio, per renderlo la residenza estiva della famiglia, di un vecchio edificio, per trasformarlo in foresteria, e delle mura dell'Hortus Conclusus, che poi delimitò con delle rose. I suoi progetti sono riportati con precisione nelle numerose lettere che scambiava con la madre Ada Wilbraham, donna disponibile e di buon gusto. Dal punto di vista estetico il primo passo è stato piantare cipressi nei punti importanti della città medievale, così da mettere in evidenza le vie e le costruzioni principali.
Nel 1922 Gelasio divenne Ambasciatore d'Italia negli Stati Uniti, quindi non fu molto presente in Italia fino al 1925. In quei tre anni il giardino fu affidato alla madre Ada che iniziò a sostituire le culture agricole con alberi, arbusti e fiori, lavoro ripreso da Gelasio al suo ritorno in Italia, fino alla morte avvenuta nel 1934. Il giardino fu lasciato in eredità al nipote Camillo, morto in guerra nel 1941, e dopo di lui se ne occuparono i suoi genitori Roffredo Caetani e Marguerite Chapin: piantarono l'agrumeto e piante come le magnolie, gli avocadi e i bambù dell'Hortus Conclus. Marguerite ospitò molti personaggi letterari importanti in quegli anni, aumentando la fama del giardino.
Alla morte di Roffredo e Marguerite si occupò del giardino la figlia, Lelia Caetani, che rese il giardino uno dei più belli del mondo. Era una giardiniera e una pittrice. Il 14 luglio 1972 Lelia Caetani sottoscrisse l'atto costitutivo della Fondazione Roffredo Caetani di Sermoneta, l'ente che ora si occupa tuttora del Giardino e di altri possedimenti Caetani. La Fondazione diventò ente morale il 3 maggio 1978, con il Decreto del presidente della Repubblica n.311, e potè accettare l'eredità di Lelia, ovvero il Castello di Sermoneta, l'azienda agricola, il Palazzo '700esco a Tor Tre Ponti, il Giardino di Ninfa e altri beni fondiari e immobiliari. Dal 2015 il Giardino, con l'Università di Roma, sta portando avanti nuovi studi per portare alla luce altri resti archeologici.