Henry Bennet a construit Arlington House pe acest loc
Când imprudentul Goring nu și-a mai putut plăti chiriile, Henry Bennet, primul conte de Arlington, a reușit să cumpere contractul de închiriere al Goring House și locuia acolo când aceasta a ars în 1674, după care a construit Arlington House pe același loc — locația aripii de sud a palatului de astăzi — în anul următor. În 1698, John Sheffield, devenit ulterior primul Duce de Buckingham și Normanby, a achiziționat contractul de închiriere.
