Henry Bennet zbudował na tym terenie Arlington House
Kiedy niegospodarny Goring przestał płacić czynsz, Henry Bennet, 1. hrabia Arlington, zdołał wykupić dzierżawę Goring House i zajmował go, gdy budynek spłonął w 1674 roku. W następnym roku zbudował w tym miejscu Arlington House – lokalizację południowego skrzydła dzisiejszego pałacu. W 1698 roku dzierżawę przejął John Sheffield, późniejszy pierwszy książę Buckingham i Normanby.
