Будинок, що становить архітектурне ядро палацу, був побудований для першого герцога Букінгемського і Норменбі в 1703 році за проєктом Вільяма Вінда. Було обрано стиль великого триповерхового центрального блоку з двома меншими флігелями для обслуговування.
