En 1919, Oliver (qui était un cornettiste de jazz et chef d'orchestre américain) a décidé de partir vers le nord et a démissionné de son poste dans le groupe de Kid Ory ; Armstrong l'a remplacé. Il est également devenu le deuxième trompettiste du Tuxedo Brass Band.