Manor of Ebury
In de middeleeuwen maakte de locatie van het toekomstige paleis deel uit van het Manor of Ebury (ook wel Eia genoemd). De drassige grond werd bewaterd door de rivier de Tyburn, die nog steeds onder de binnenplaats en de zuidvleugel van het paleis stroomt. Waar de rivier doorwaadbaar was (bij Cow Ford), ontstond het dorp Eye Cross. Het eigendom van de locatie wisselde vele malen van eigenaar; onder de eigenaren bevonden zich Eduard de Belijder en zijn koningin-gemalin Edith van Wessex in de late Saksische tijd, en na de Normandische verovering, Willem de Veroveraar. Willem schonk de locatie aan Geoffrey de Mandeville, die het naliet aan de monniken van Westminster Abbey.

