Hellmut Stern fæddist í Berlín í gyðingafjölskyldu. Faðir hans, Dittmar Stern, var söngkennari og móðir hans, Ilse Rose Stern, var píanóleikari. Móðir hans kenndi honum að spila á píanó frá því hann var fimm ára. Hann gekk í gyðingaskóla í Wilmersdorf, þar sem gæsluþjónn gaf hæfileikaríkustu nemandanum fiðlu, sem hann fékk þegar hann var níu ára gamall. Fjölskyldan reyndi að flytja út frá árinu 1933. Eftir
Í nóvember 1938 flúðu þau frá Berlín til Harbin, nú í Kína, þar sem móðir hans hafði fengið skáldaðan samning sem píanóleikari. Í útlegð hjálpaði Stern fjölskyldunni með tekjurnar sem píanóleikari og fiðluleikari, spilaði á börum, næturklúbbum og hótelum. Árið 1948 flutti fjölskyldan til Ísraels. Sem barpíanisti á King David hótelinu í Jerúsalem árið 1951 kynntist hann Isaac Stern, sem gerði ráð fyrir honum til að prófa sig fyrir Ísraelska fílarmónuorkestrið í Tel Aviv. Hann vann sína fyrstu stöðu í hljómsveit sem annar fiðluleikari.