Henry Bennet construyó Arlington House en el lugar
Cuando el imprudente Goring dejó de pagar sus alquileres, Henry Bennet, primer conde de Arlington, pudo comprar el contrato de arrendamiento de Goring House y la ocupaba cuando se incendió en 1674, tras lo cual construyó Arlington House en el lugar —la ubicación del ala sur del palacio actual— al año siguiente. En 1698, John Sheffield, más tarde primer duque de Buckingham y Normanby, adquirió el contrato de arrendamiento.
