Ο Williams παντρεύτηκε την πρώτη του σύζυγο, Valerie Velardi, τον Ιούνιο του 1978, μετά από μια συγκατοίκηση με την κωμικό Elayne Boosler. Η Velardi και ο Williams γνωρίστηκαν το 1976 ενώ εκείνος εργαζόταν ως μπάρμαν σε μια ταβέρνα στο Σαν Φρανσίσκο.