Señorío de Ebury
En la Edad Media, el emplazamiento del futuro palacio formaba parte del Señorío de Ebury (también llamado Eia). El terreno pantanoso era regado por el río Tyburn, que aún fluye bajo el patio y el ala sur del palacio. Donde el río era vadeable (en Cow Ford), creció el pueblo de Eye Cross. La propiedad del lugar cambió de manos muchas veces; entre sus propietarios se contaron Eduardo el Confesor y su reina consorte Edith de Wessex en la época sajona tardía y, tras la conquista normanda, Guillermo el Conquistador. Guillermo cedió el lugar a Geoffrey de Mandeville, quien lo legó a los monjes de la Abadía de Westminster.

