Первые три года своей жизни Банди прожил в доме своих бабушки и дедушки по материнской линии, Сэмюэла (1898–1983) и Элеоноры Коуэлл (1895–1971), в Филадельфии, которые воспитывали его как своего сына, чтобы избежать социальной стигмы, сопровождавшей рождение вне брака.
