Williams menikahi istri pertamanya, Valerie Velardi, pada Juni 1978, setelah menjalin hubungan tinggal bersama dengan komedian Elayne Boosler. Velardi dan Williams bertemu pada tahun 1976 saat ia bekerja sebagai bartender di sebuah kedai di San Francisco.
