Forse la prima casa eretta all'interno del sito fu quella di un certo Sir William Blake, intorno al 1624. Il proprietario successivo fu Lord Goring, che dal 1633 ampliò la casa di Blake e sviluppò gran parte dell'attuale giardino, allora noto come Goring Great Garden.
