تحت ملكية التاج الجديد ، كان المبنى في الأصل مخصصًا كمسكن خاص لزوجة الملك جورج الثالث ، الملكة شارلوت ، وبالتالي عُرف باسم بيت الملكة. بدأت إعادة نمذجة المبني في عام 1762.
