خلال السنوات الثلاث الأولى من حياته، عاش بوندي في منزل أجداده من والدته في فيلادلفيا، صموئيل (1898-1983) وإليانور كويل (1895-1971)، اللذان رباه على أنه ابنهما لتجنب وصمة العار الاجتماعية التي صاحبت الولادة خارج نطاق الزواج.