संभवतः इस स्थल के भीतर निर्मित पहला घर सर विलियम ब्लेक का था, जो लगभग 1624 में बना था। अगले मालिक लॉर्ड गोरिंग थे, जिन्होंने 1633 से ब्लेक के घर का विस्तार किया और आज के बगीचे का अधिकांश हिस्सा विकसित किया, जिसे तब गोरिंग ग्रेट गार्डन के नाम से जाना जाता था।