În primii trei ani de viață, Bundy a locuit în casa din Philadelphia a bunicilor săi materni, Samuel (1898–1983) și Eleanor Cowell (1895–1971), care l-au crescut ca pe fiul lor pentru a evita stigmatul social care însoțea nașterea în afara căsătoriei.