Hellmut Stern berlini zsidó családban született. Édesapja, Dittmar Stern énektanár volt, édesanyja, Ilse Rose Stern zongorista. Az édesanyja öt éves korától tanította zongorázni. Egy Wilmersdorfi zsidó iskolába járt, ahol a legtehetségesebb tanulónak egy hegedűt ajándékozott, amit kilenc évesen kapott. A család 1933-ban megpróbált kivándorolni. A
November pogrom 1938-ban, menekültek Berlinből Harbinba, most Kínában, ahol az édesanyja fiktív szerződést kapott zongoristaként. A száműzetésben Stern zongorista és hegedűsként segített a család jövedelmének, bárokban, éjszakai klubokban és szállodákban játszott. 1948-ban a család Izraelbe emigrált. 1951-ben a Jeruzsálemi King David Hotel bárzongoristájaként találkozott Isaac Sternnel, aki megszervezte számára a Tel Aviv-i Izrael Filharmonikus Zenekar meghallgatását. Első zenekari posztját második hegedűsként nyerte el.