Henry Bennet a construit Arlington House sur le site
Lorsque l'imprévoyant Goring fit défaut sur ses loyers, Henry Bennet, 1er comte d'Arlington, put acheter le bail de Goring House et l'occupait lorsqu'elle brûla en 1674, après quoi il construisit Arlington House sur le site — l'emplacement de l'aile sud du palais actuel — l'année suivante. En 1698, John Sheffield, futur premier duc de Buckingham et Normanby, acquit le bail.
