Henry Bennet bouwde Arlington House op het terrein
Toen de onvoorzichtige Goring zijn huur niet kon betalen, kon Henry Bennet, 1e graaf van Arlington, het huurcontract van Goring House kopen. Hij bewoonde het pand toen het in 1674 afbrandde, waarna hij het jaar daarop Arlington House op die locatie bouwde—de plek van de zuidvleugel van het huidige paleis. In 1698 verwierf John Sheffield, later de eerste hertog van Buckingham en Normanby, het huurcontract.
