Το σπίτι που αποτελεί τον αρχιτεκτονικό πυρήνα του παλατιού χτίστηκε για τον πρώτο Δούκα του Μπάκιγχαμ και Νόρμανμπι το 1703 σε σχέδια του William Winde. Το στυλ που επιλέχθηκε ήταν ένα μεγάλο, τριώροφο κεντρικό κτίριο με δύο μικρότερες πλευρικές πτέρυγες υπηρεσιών.
