Pravděpodobně prvním domem postaveným na tomto místě byl dům sira Williama Blakea kolem roku 1624. Dalším majitelem byl lord Goring, který od roku 1633 Blakeův dům rozšířil a vybudoval velkou část dnešní zahrady, tehdy známé jako Goring Great Garden.
