Né à Kremenetz, en Ukraine, dans une famille juive de musiciens professionnels qui fuit le régime communiste quand il n'a que dix mois, pour s'installer à San Francisco.
Sa mère lui apprend le violon avant qu'il n'entre au Conservatoire de San Francisco en 1928, où il étudie pendant trois ans avant de prendre des cours particuliers avec Louis Persinger, puis avec Naoum Binder. Il a quinze ans pour son premier concert, le 18 février 1936 au cours duquel il joue le Concerto n°3 de Saint-Saëns avec, au pupitre, le chef d'orchestre français Pierre Monteux.
Au cours d'une interview, il déclare que les relations musicales entre les USA et l'URSS sont simples : "Ils nous envoient leurs juifs d'Odessa, et nous leur envoyons nos juifs d'Odessa".
Stern devient rapidement connu pour ses remarquables enregistrements, ainsi que son constant désir de promouvoir de jeunes talents. Parmi ses découvertes les plus célèbres : les violoncellistes Yo-Yo Ma, et Jian Wang, et les violonistes Itzhak Perlman et Pinchas Zukerman. Il joue également un rôle essentiel pour empêcher la démolition du Carnegie Hall de New York en 1960, dont le principal auditorium porte aujourd'hui son nom. Parmi ses enregistrements les plus brillants : les Concertos de Johannes Brahms, Jean-Sébastien Bach, Beethoven, Félix Mendelssohn et Antonio Vivaldi ainsi que des oeuvres contemporaines de Samuel Barber, Béla Bartók, Igor Stravinsky, Léonard Bernstein et Henri Dutilleux. Sans oublier les merveilleux disques qu'il grave en trio avec Eugène Istomin, piano, et Léonard Rose, violoncelle.
En 1979, la République Populaire de Chine lui propose de faire une tournée historique dont sortira un film exceptionnel : De Mao à Mozart, qui remporte l'Oscar du meilleur documentaire. Stern a donné un nombre incalculable de concerts et il lui arrivait de se produire plus de 200 fois par an. Il a joué avec les plus prestigieux orchestres d'Europe, des Etats-Unis et de la plupart des pays du monde, excepté l'Allemagne, où il a toujours refusé de se produire : "Les souvenirs de l'horrible période du nazisme m'ont toujours empêché de jouer en Allemagne. C'est un fardeau personnel que je ne tiens pas à transmettre. J'ai enseigné à quelques musiciens en Allemagne, mais je n'y ai pas emporté mon violon."
Comme le pianiste Arthur Rubinstein, Stern a toujours obstinément refusé de jouer aux côtés du chef d'orchestre Herbert von Karajan, qui avait collaboré avec le régime nazi. Isaac Stern a succombé à une crise cardiaque à l'âge de quatre-vingt-un ans.
