Williams se casó con su primera esposa, Valerie Velardi, en junio de 1978, tras una relación de convivencia con la comediante Elayne Boosler. Velardi y Williams se conocieron en 1976 mientras él trabajaba como camarero en una taberna en San Francisco.
