Có khả năng ngôi nhà đầu tiên được xây dựng trong khu đất là của Ngài William Blake, vào khoảng năm 1624. Chủ sở hữu tiếp theo là Lãnh chúa Goring, người từ năm 1633 đã mở rộng ngôi nhà của Blake và phát triển phần lớn khu vườn ngày nay, khi đó được gọi là Vườn lớn Goring.
