Dům, který tvoří architektonické jádro paláce, byl postaven pro prvního vévodu z Buckinghamu a Normanby v roce 1703 podle návrhu Williama Windea. Zvolený styl představoval velký, třípatrový centrální blok se dvěma menšími postranními provozními křídly.
