Henry Bennet costruì Arlington House sul sito
Quando l'imprevidente Goring non pagò gli affitti, Henry Bennet, I conte di Arlington, riuscì ad acquistare il contratto di locazione di Goring House e vi risiedeva quando bruciò nel 1674, in seguito a ciò costruì Arlington House sul sito — la posizione dell'ala meridionale dell'attuale palazzo — l'anno successivo. Nel 1698, John Sheffield, in seguito primo Duca di Buckingham e Normanby, ne acquisì il contratto di locazione.
