Henry Bennet nechal na místě postavit Arlington House
Když se nehospodárný Goring dostal do prodlení s nájemným, Henry Bennet, 1. hrabě z Arlingtonu, dokázal odkoupit nájemní smlouvu na Goring House. V době, kdy dům v roce 1674 vyhořel, jej obýval, načež následujícího roku na tomto místě – v lokalitě dnešního jižního křídla paláce – postavil Arlington House. V roce 1698 získal nájemní smlouvu John Sheffield, pozdější první vévoda z Buckinghamu a Normanby.
