グラーツ市立歌劇場の法律顧問を務める弁護士の父のもと、グラーツに生まれる。幼少からピアノを学ぶ。個人教授で学び、ピアノのコンサート活動も行った。グラーツ市立歌劇場デビュー。ワルターに推薦されバイエルン国立歌劇場の第4指揮者に転任。ワルターからモーツアルトなど多大な影響を受けた。前衛的な作品を多く取り上げ、アルバン・ベルク(1885-1935)『ヴォツェック』は大成功をおさめ、ベルクとの親交も深まる。親交のあるR.シュトラウス(1864-1949)ゆかりのドレスデン国立歌劇場総監督に就任。R・シュトラウス『無口な女』、1938年にはベームに献呈された『ダフネ』を初演。充実した時」と本人が語っている。ウィーン国立歌劇場総監督に就任。戦時中のナチへの協力姿勢を理由に2年間の音楽活動禁止処分を受ける。2度目のウィーン国立歌劇場総監督に就任するも、1年経たないうちに辞任し、以後は客演や録音を中心に活動。オーストリア共和国音楽総監督に就任。ウィーン・フィル創立125周年を記念してベームのために創設された「名誉指揮者」の称号を授かる。「私は普通の職人です。私の指揮棒は魔法の杖ではなく、誰にも呪文を唱えません。「人生で私は悪いことも沢山してきました。罪人である、そう言ってもいいでしょう。嘘もついてきたし、自分の名誉にならないことも沢山してきました。音楽においては常に正直で、誠実でした。日本では1970年代から1980年代初頭に、“ベーム狂騒曲“とも言われる人気となった。ザルツブルクで86歳で亡くなる。グラーツ・シュタインフェルト墓地のベーム家の墓に眠る。