Henry Bennet membangun Arlington House di situs tersebut
Ketika Goring yang boros gagal membayar sewanya, Henry Bennet, Earl of Arlington ke-1, dapat membeli sewa Goring House dan ia menempatinya ketika rumah itu terbakar pada tahun 1674, setelah itu ia membangun Arlington House di situs tersebut—lokasi sayap selatan istana saat ini—pada tahun berikutnya. Pada tahun 1698, John Sheffield, yang kemudian menjadi Duke of Buckingham dan Normanby pertama, memperoleh sewanya.
