Il nome Celsa deriva probabilmente da “excelsa sedes Virginis”, oppure dalla famiglia senese dei Celsi che ne fu a lungo proprietaria.

L’insediamento originario data dal XIII secolo. Inizialmente fu un cupo castello che dominava la vallata verso Siena, e nel XVI secolo i Celsi commissionarono all’architetto Baldassarre Peruzzi la realizzazione di modifiche tali da “ liberare la casa imprigionata e farla impregnare di sole e di luce”, come scrivevano Shepherd e Jellicoe che la visitarono negli anni ‘20 del 900, scrivendo che “ la magia delicata della mano del Peruzzi ha toccato le mura originali, accentuando la loro forza attraverso la leggerezza delle aggiunte in una maniera che è una rivelazione nell’arte di mutare il formale in informale”.

L’intervento del Peruzzi a Celsa, già indicato dal Repetti nella cappella circolare, si amplia con l’assegnargli il muro di terrazzamento con nicchie, parallelo al viale d’ accesso.

Ne risulta una originalissima forma planimetrica con cortile interno trapezoidale delimitato verso valle da una possente parete con tre ampie aperture ad arco verso i due successivi terrazzamenti degradanti verso il giardino all’italiana.

La genialità del progetto, che è una delle tante operazioni rinascimentali su edifici del Medioevo, sta nell’ assorbimento di quelle antiche forme in un discorso spaziale completamente nuovo.

Mino Celsi (1514-1575) che fu probabilmente il committente di questo ambizioso progetto, invitava con queste parole l’arcivescovo di Siena Francesco Bandini Piccolomini a cercare riposo in quella quiete ombrosa:” Tu canzonetta mia rozza ed incolta torna ti a Celsa, e guarda, che la quiete mia non ti sia tolta”.

Nel 1554 Celsa viene devastata dalle truppe imperiali Austro-Spagnole di Carlo V. Nei primi anni del 1600 il Castello di Celsa, che era stato a lungo proprietà dei Celsi, passa alla nobile famiglia de Vecchi di Siena che ne rimane proprietaria fino alla metà del 1800 quando viene portata in dote da Giulia de Vecchi per il suo matrimonio con il marchese Amerigo Antinori.

Alla fine dell’ottocento Maria Antinori, figlia di Giulia de Vecchi, sposa il principe romano Giuseppe Aldobrandini, e in quegli anni incarica l’arch. Mariani di ritrasformare Celsa: viene sopraelevata la torre est e coronata da merli, così come tutto l’edificio; si aprono bifore, l’intonaco viene raschiato per far emergere le pietre, e si amplia il granaio che diventa anche cantina. Alla loro morte il Castello passerà al figlio Clemente Aldobrandini la cui moglie, Luisa von Welczeck, appassionata giardiniera, ridarà al parco e al giardino all’ italiana la loro impronta originaria.