Panství Ebury
Ve středověku tvořilo místo budoucího paláce součást panství Ebury (nazývaného také Eia). Bažinatý terén byl zavlažován řekou Tyburn, která dodnes protéká pod nádvořím a jižním křídlem paláce. V místech, kde byla řeka broditelná (u Cow Ford), vyrostla vesnice Eye Cross. Vlastnictví pozemku mnohokrát změnilo majitele; mezi vlastníky patřil v pozdně saských dobách Eduard Vyznavač a jeho manželka Edita z Wessexu, a po normanském dobytí Vilém Dobyvatel. Vilém daroval pozemek Geoffreymu de Mandeville, který jej odkázal mnichům z Westminsterského opatství.

