عند وصوله إلى الولايات المتحدة، أقام غارفي في البداية مع عائلة مغتربة جامايكية تعيش في هارلم، وهي منطقة سوداء إلى حد كبير في مدينة نيويورك.
بدأ إلقاء محاضرات في المدينة، على أمل أن يصبح متحدثًا عامًا، على الرغم من أن خطابه العام الأول كان مضايقًا وسقط عن المسرح.