تم بناء المنزل الذي يشكل النواة المعمارية للقصر لأول دوق باكنغهام ونورمانبي في عام 1703 وفقًا لتصميم ويليام ويند. كان النمط المختار عبارة عن كتلة مركزية كبيرة من ثلاثة طوابق مع جناحين أصغر للخدمة.