Nacque in una famiglia ebrea a Vilna (Lituania) il 2 febbario 1901. Il padre, Ruvn Heifetz, era un insegnante di violino e fu primo violino di spalla nell’Orchestra del Teatro di Vilna per una stagione prima che il teatro chiudesse. Jascha cominciò a studiare violino all’età di 3 anni sotto la guida del padre. A cinque anni cominciò a prendere lezioni da Ilya D. Malkin, un allievo di Leopold Auer.
Heifetz fu un bambino prodigio, e fece il suo debutto in pubblico all’età di 7 anni a Kovno, ora Kaunas, in Lituania suonando il Concerto per Violino op. 64 di Mendelssohn. Nel 1910 cominciò a frequentare il Conservatorio di San Pietroburgo dove continuò a studiare sotto la guida di Leopold Auer. Suonò in Germania e in Scandinavia, e a 12 anni incontrò il celebre violinista Fritz Kreisler, assieme ad altri grandi violinisti.
Kreisler, dopo aver accompagnato il giovane Heifetz al pianoforte nell’esecuzione del Concerto in mi minore di Mendelssohn, disse ai presenti “Adesso possiamo rompere i nostri violini sulle nostre ginocchia!” Heifetz visitò buona parte dell’Europa nel periodo della sua adolescenza.

Ebbe due matrimoni entrambi finiti col divorzio e 3 figli. Si sposò nel 1928 con Florence Vidor diva del cinema muto ed ex moglie di King Vidor, adottarono Suzanne ma ebbero anche 2 figli: Josefa (1930) e Robert (1932-2001), divorziarono nel 1945. Un secondo matrimonio fu contratto nel 47 con Frances Spiegelberg da cui nacque Joseph, il divorzio nel 1962.
Il 27 ottobre 1917 Heifetz suonò per la prima volta in pubblico negli Stati Uniti; il recital tenutosi quella sera nella rinomata Carnegie Hall fu l’emblema della leggenda che Heifetz sarebbe stato lungo la sua carriera.
Heifetz rimase negli Stati Uniti e nel 1925 ottenne la cittadinanza statunitense.
L’ultimo recital nel 1972 a Los Angeles quando soffriva già di una grave forma di artrite.
Ha dedicato l’ultima parte della sua vita all’insegnamento presso la University of Southern California.
Una nota di una certa rilevanza riguarda il fatto che possedesse uno Stradivari del 1731 e un Guarneri del Gesù del 1742 appartenuto a Ferdinand David che su questo stesso violino suonò la prima assoluta del concerto di Mendelssohn.

Morì a Los Angeles il 10 dicembre del 1987.