Selama tiga tahun pertama hidupnya, Bundy tinggal di rumah kakek-nenek dari pihak ibunya, Samuel (1898–1983) dan Eleanor Cowell (1895–1971), yang membesarkannya sebagai putra mereka untuk menghindari stigma sosial yang menyertai kelahiran di luar nikah.
