Το 1840, ο Douglass εκφώνησε λόγο στην Elmira της Νέας Υόρκης, που τότε ήταν σταθμός του Υπόγειου Σιδηρόδρομου (Underground Railroad), όπου μια μαύρη εκκλησιαστική κοινότητα θα σχηματιζόταν χρόνια αργότερα, καθιστάμενη η μεγαλύτερη εκκλησία της περιοχής έως το 1940.