Rumah yang membentuk inti arsitektur istana dibangun untuk Duke of Buckingham dan Normanby pertama pada tahun 1703 dengan desain William Winde. Gaya yang dipilih adalah blok pusat besar berlantai tiga dengan dua sayap layanan yang lebih kecil di sampingnya.
