Nacque in una famiglia povera a New Orleans ed era nipote di schiavi. Trascorse la sua infanzia in un sobborgo residenziale di New Orleans, conosciuto come “Back of Town”. Suo padre, William Armstrong (1881-1922), abbandonò la famiglia mentre Louis era ancora neonato e se ne andò con un’altra donna. Sua madre, Mayann Armstrong (1886-1942), lasciò così Louis e la sorella Beatrice Armstrong Collins (1903-1987) alla nonna, Josephine Armstrong, e a volte allo zio Isaac.
A cinque anni tornò a vivere con la madre e i suoi parenti, e rivide il padre solo in poche circostanze. Frequentò la Fisk School per ragazzi. Portava a casa pochi soldi raccogliendo carta e trovando resti di cibo che vendeva a vari ristoranti ma ciò non era abbastanza per allontanare la madre dalla prostituzione. Armstrong crebbe nel fondo della scala sociale, in una città molto segregata ma anche appassionata del tipo di musica che ai tempi veniva chiamato “ragtime” e non ancora “jazz”. Pur avendo avuto una dura gioventù, finì in riformatorio giovanissimo, Armstrong guardò raramente indietro a quegli anni e ne trasse ispirazione. In un’intervista Louis disse: “Ogni volta che chiudo i miei occhi per soffiare sulla mia tromba, guardo nel cuore della buona vecchia New Orleans…Mi ha dato qualcosa per cui vivere.”
Dopo essere stato espulso dalla Fisk School ad undici anni, Armstrong si unì ad un quartetto di ragazzi che avevano una vita simile alla sua e cantò insieme ad essi per le strade per avere dei soldi. Iniziò inoltre a cacciarsi nei guai. Dapprima imparò a suonare la cornetta nella banda musicale di un riformatorio per ragazzi neri. Armstrong sviluppò la sua cornetta suonando con impegno in una band del New Orleans Home for Colored Waifs dove venne mandato molte volte per delinquenza, in particolare per un lungo periodo dopo aver fatto fuoco con la pistola del patrigno durante la celebrazione per la vigilia del nuovo anno, come confermano alcuni documenti della polizia. Il professor Peter Davis insegnò disciplina ad Armstrong e lo addestrò musicalmente. Louis diventò intanto il leader della band. La Home band suonò nei dintorni di New Orleans ed il tredicenne Louis iniziò a concentrarsi sulla sua cornetta, iniziando la sua carriera musicale.
A quattordici anni lasciò la Home band, andando a vivere prima col padre e la matrigna, poi di nuovo con la madre e nelle strade. Ebbe il suo primo lavoretto al dance hall di Henry Ponce’s, dove Black Benny divenne il suo protettore e la sua guida. Di notte il giovane Louis suonava la sua cornetta. Seguiva con passione le frequenti esibizioni della banda cittadina e non perdeva occasione per ascoltare i musicisti più grandi, imparando da Bunk Johnson, Buddy Petit, Kid Ory, e soprattutto Joe “King” Oliver, il quale fu mentore e figura paterna per il giovane musicista.
Successivamente Armstrong suonò nelle bande e sui battelli di New Orleans, iniziando con la rinomata band di Fate Marable.
Louis descriveva il suo periodo con Marable come “una via per l’Università,” dato che gli diede molta più esperienza.
Quando Joe Oliver lasciò la città nel 1919, Armstrong prese il suo posto nella band , allora la migliore jazz band della città.