A casa que forma o núcleo arquitetônico do palácio foi construída para o primeiro Duque de Buckingham e Normanby em 1703, com o projeto de William Winde. O estilo escolhido foi o de um grande bloco central de três andares com duas alas de serviço laterais menores.
