هنری بنت خانه آرلینگتون را در این مکان ساخت
هنگامی که گورینگِ بیملاحظه در پرداخت اجارهبهای خود کوتاهی کرد، هنری بنت، اولین ارل آرلینگتون توانست اجارهنامه خانه گورینگ را بخرد و زمانی که این خانه در سال ۱۶۷۴ در آتش سوخت، او در آن ساکن بود. پس از آن، او در سال بعد خانه آرلینگتون را در همان مکان - محل بال جنوبی کاخ امروزی - ساخت. در سال ۱۶۹۸، جان شفیلد، که بعدها اولین دوک باکینگهام و نورمانبی شد، اجارهنامه را به دست آورد.
