Ο Henry Bennet κατασκεύασε το Arlington House στην τοποθεσία
Όταν ο απρόνοητος Goring αθέτησε τις πληρωμές των ενοικίων του, ο Henry Bennet, 1ος Κόμης του Arlington, μπόρεσε να αγοράσει τη μίσθωση του Goring House και το κατοικούσε όταν κάηκε το 1674, μετά το οποίο κατασκεύασε το Arlington House στην τοποθεσία —τη θέση της νότιας πτέρυγας του σημερινού παλατιού— το επόμενο έτος. Το 1698, ο John Sheffield, μετέπειτα πρώτος Δούκας του Μπάκιγχαμ και Νόρμανμπι, απέκτησε τη μίσθωση.
