Frederick Augustus Washington Bailey nacque in schiavitù sulla costa orientale della Chesapeake Bay nella contea di Talbot, nel Maryland. La piantagione si trovava tra Hillsboro e Cordova; il suo luogo di nascita fu probabilmente la capanna di sua nonna.