První tři roky svého života žil Bundy v domě svých prarodičů z matčiny strany, Samuela (1898–1983) a Eleanor Cowellových (1895–1971), ve Filadelfii, kteří ho vychovávali jako vlastního syna, aby se vyhnuli společenskému stigmatu, které tehdy provázelo narození mimo manželství.
