Williams kết hôn với người vợ đầu tiên, Valerie Velardi, vào tháng 6 năm 1978, sau một thời gian sống chung với nữ diễn viên hài Elayne Boosler. Velardi và Williams gặp nhau vào năm 1976 khi ông đang làm nhân viên pha chế tại một quán rượu ở San Francisco.
