Williams heiratete im Juni 1978 seine erste Frau, Valerie Velardi, nachdem er zuvor eine Lebensgemeinschaft mit der Komikerin Elayne Boosler geführt hatte. Velardi und Williams lernten sich 1976 kennen, als er als Barkeeper in einer Kneipe in San Francisco arbeitete.
