写真家のモホリ=ナジ・ラースローは再従兄弟にあたる。作曲家のジョゼフ・コズマ(コズマ・ヨージェフ)も親戚である。父親はハンガリーで民族主義が高まるのを感じて、子供らの将来のためにユダヤ的なシュテルンという姓をハンガリー風のショルティに改姓した。6歳でピアノを習い始める。その後1924年に、リスト音楽院でヴェイネル、バルトーク、コダーイ、ドホナーニらに指導を受け、ピアノ、作曲、指揮なども学んでいる。13歳の時、コンサートで聞いたエーリヒ・クライバー指揮のベートーヴェン・交響曲第5番の演奏に感動して指揮者を目指すこととなる。リスト音楽院を卒業するとブダペストの国立歌劇場でコレペティートル(歌手の練習のためのピアニスト)に採用され、チェレスタやチェンバロなどの楽器の演奏も手がけるなど、努力の日々を送りながらオペラを学ぶ。コレペティートルとしてザルツブルクを訪れた時、ザルツブルク音楽祭のリハーサルのためのピアニストに欠員が出たためショルティに声がかかったが、これがトスカニーニの目にとまり、同年と翌年のザルツブルク音楽祭のトスカニーニの助手を務めることとなる。1937年には『魔笛』の公演でグロッケンシュピールを担当した。1938年3月11日-ブダペスト歌劇場の『フィガロの結婚』で指揮者デビュー。ぶっつけ本番であった(同日、ナチス・ドイツによるオーストリア併合)。ジュネーブ国際コンクールのピアノ部門で優勝し(審査員にはヴィルヘルム・バックハウスやフランク・マルタンがいた)、その後ピアニストとしてデビューする。それまで仕事にありつけずにいたショルティだが、この成功によって音楽家として名声を博していくことになる。戦後、7年ぶりにたった2度ほど『フィデリオ』を指揮した後、ミュンヘンのバイエルン国立歌劇場の音楽監督に抜擢される(本人は、これにはトスカニーニとエーリヒ・クライバーの援助があったと語っている。非ナチ化の影響で多くのドイツ人指揮者が失脚していたという幸運もあった)。この年にはリヒャルト・シュトラウスと会う機会を得て、彼の作品の指揮について指導を受けている他、チューリッヒ大学の講師の娘だったヘトヴィヒ・エークスリ(ヘディ)と結婚。スイスのテノール歌手リヒテクの推薦で、ピアニストとして英デッカと契約を結び、録音活動もスタートしている。サンフランシスコ歌劇場にて『エレクトラ』の指揮でアメリカデビュー。後に音楽監督として緊密な関係を築くシカゴ交響楽団の初指揮は、1954年夏のラヴィニア音楽祭で果たしている。1958年から始まったウィーン・フィルとの『ニーベルングの指環』全曲スタジオ録音で、指揮者としての評価を国際的に著しく高める(世界初全曲録音)。