Henry Bennet errichtete Arlington House auf dem Gelände
Als der verschwenderische Goring seine Pacht nicht mehr zahlen konnte, konnte Henry Bennet, 1. Earl of Arlington, den Pachtvertrag für Goring House erwerben. Er bewohnte es, als es 1674 niederbrannte, woraufhin er im folgenden Jahr Arlington House auf dem Gelände errichtete – dem Standort des heutigen Südflügels des Palastes. Im Jahr 1698 erwarb John Sheffield, der spätere erste Duke of Buckingham and Normanby, den Pachtvertrag.
