Possivelmente a primeira casa erguida no local foi a de um Sir William Blake, por volta de 1624. O próximo proprietário foi Lord Goring, que a partir de 1633 ampliou a casa de Blake e desenvolveu grande parte do jardim atual, então conhecido como Goring Great Garden.
