عمارت ایبری
در قرون وسطی، محل کاخ آینده بخشی از عمارت ایبری (که اییا نیز نامیده میشد) را تشکیل میداد. زمینهای باتلاقی آن توسط رودخانه تایبرن آبیاری میشد که هنوز هم در زیر حیاط و بال جنوبی کاخ جریان دارد. در جایی که رودخانه قابل عبور بود (در گاو فورد)، روستای آی کراس شکل گرفت. مالکیت این مکان بارها دست به دست شد؛ مالکان آن شامل ادوارد خستو و همسرش ادیت وسکس در اواخر دوران ساکسون، و پس از فتح نورمنها، ویلیام فاتح بودند. ویلیام این مکان را به جفری دو ماندویل بخشید که آن را برای راهبان صومعه وستمینستر به ارث گذاشت.