Ngôi nhà tạo nên cốt lõi kiến trúc của cung điện được xây dựng cho Công tước thứ nhất xứ Buckingham và Normanby vào năm 1703 theo thiết kế của William Winde. Phong cách được chọn là một khối trung tâm lớn ba tầng với hai cánh dịch vụ nhỏ hơn ở hai bên.
