Williams a épousé sa première femme, Valerie Velardi, en juin 1978, après une relation de concubinage avec l'humoriste Elayne Boosler. Velardi et Williams se sont rencontrés en 1976 alors qu'il travaillait comme barman dans une taverne à San Francisco.
