Αρχοντικό του Ebury
Κατά τον Μεσαίωνα, η τοποθεσία του μελλοντικού παλατιού αποτελούσε μέρος του Αρχοντικού του Ebury (γνωστό και ως Eia). Το ελώδες έδαφος ποτιζόταν από τον ποταμό Tyburn, ο οποίος εξακολουθεί να ρέει κάτω από την αυλή και τη νότια πτέρυγα του παλατιού. Εκεί όπου ο ποταμός ήταν διαβατός (στο Cow Ford), αναπτύχθηκε το χωριό Eye Cross. Η ιδιοκτησία της τοποθεσίας άλλαξε χέρια πολλές φορές· στους ιδιοκτήτες περιλαμβάνονταν ο Εδουάρδος ο Ομολογητής και η σύζυγός του, βασίλισσα Εντίθ του Ουέσεξ, κατά τους ύστερους σαξονικούς χρόνους, και μετά τη Νορμανδική Κατάκτηση, ο Γουλιέλμος ο Κατακτητής. Ο Γουλιέλμος παραχώρησε την τοποθεσία στον Geoffrey de Mandeville, ο οποίος την κληροδότησε στους μοναχούς του Αβαείου του Ουέστμινστερ.

