Casa care formează nucleul arhitectural al palatului a fost construită pentru primul Duce de Buckingham și Normanby în 1703, după designul lui William Winde. Stilul ales a fost cel al unui bloc central mare, cu trei etaje, flancat de două aripi de serviciu mai mici.
