In den ersten drei Lebensjahren lebte Bundy im Haus seiner Großeltern mütterlicherseits, Samuel (1898–1983) und Eleanor Cowell (1895–1971), in Philadelphia, die ihn als ihren Sohn aufzogen, um das soziale Stigma zu vermeiden, das mit einer unehelichen Geburt einherging.