Frederick Augustus Washington Bailey nació en la esclavitud en la costa este de la bahía de Chesapeake en el condado de Talbot, Maryland.
La plantación estaba entre Hillsboro y Cordova; su lugar de nacimiento fue probablemente la cabaña de su abuela.