Henry Bennet xây dựng Arlington House trên khu đất
Khi Goring không trả được tiền thuê nhà, Henry Bennet, Bá tước thứ nhất xứ Arlington đã mua lại hợp đồng thuê Goring House và ông đang cư trú tại đó khi nó bị cháy rụi vào năm 1674. Sau đó, ông đã xây dựng Arlington House trên khu đất này—vị trí của cánh phía nam cung điện ngày nay—vào năm tiếp theo. Năm 1698, John Sheffield, sau này là Công tước thứ nhất xứ Buckingham và Normanby, đã mua lại hợp đồng thuê.
