Frederick Augustus Washington Bailey est né en esclavage sur la rive orientale de la baie de Chesapeake dans le comté de Talbot, dans le Maryland.
La plantation se situait entre Hillsboro et Cordova ; son lieu de naissance était probablement la cabane de sa grand-mère.