Frederick Augustus Washington Bailey urodził się jako niewolnik na wschodnim wybrzeżu zatoki Chesapeake w hrabstwie Talbot w stanie Maryland.
Plantacja znajdowała się między Hillsboro a Cordova; jego miejscem urodzenia była prawdopodobnie chata jego babki.