Durante los primeros tres años de su vida, Bundy vivió en la casa de Filadelfia de sus abuelos maternos, Samuel (1898–1983) y Eleanor Cowell (1895–1971), quienes lo criaron como a su propio hijo para evitar el estigma social que acompañaba al nacimiento fuera del matrimonio.