Per i primi tre anni della sua vita, Bundy visse nella casa di Philadelphia dei suoi nonni materni, Samuel (1898–1983) ed Eleanor Cowell (1895–1971), che lo crebbero come loro figlio per evitare lo stigma sociale che accompagnava la nascita fuori dal matrimonio.
