Williams casou-se com sua primeira esposa, Valerie Velardi, em junho de 1978, após um relacionamento de convivência com a comediante Elayne Boosler. Velardi e Williams se conheceram em 1976 enquanto ele trabalhava como barman em uma taverna em São Francisco.
