Durante os primeiros três anos de sua vida, Bundy viveu na casa de seus avós maternos na Filadélfia, Samuel (1898–1983) e Eleanor Cowell (1895–1971), que o criaram como seu filho para evitar o estigma social que acompanhava o nascimento fora do casamento.