父とし、フィンランド人の声楽家・渡邉シーリを母として、東京府で生まれた。兄は共同通信社で重責を歴任したジャーナリストの渡邉忠恕。妻の信子は鳩山一郎の五女。長男の渡邉康雄(指揮者)、次男の渡邉規久雄(ピアニスト)とも芸術系の大学教授を務める音楽家。声楽家の母に幼少時から音楽の手ほどきを受けたほか、5歳でピアノを、10歳でヴァイオリンを始める。1940年東京音楽学校(現東京芸術大学)本科器楽科(ヴァイオリンを専攻)卒業後、研究科に進みヴァイオリン・ヴィオラ奏者として活動。1943年に東京放送管弦楽団にヴァイオリニストとして所属。召集後もヴァイオリニストとして病院などを慰問していた。1945年に東京都フィルハーモニー管弦楽団(現・東京フィルハーモニー交響楽団)専属指揮者、1949年より東京芸大助教授に就任し後進の指導にあたる。1950年に米国ジュリアード音楽院指揮科に留学している。就任、終生日フィルと緊密な関係にあった。72年の日フィル紛争発生時には東京都交響楽団の任期中であったため陰ながら支援し、任期終了後に日フィルに正式復帰して支え続けた。この功績により日フィル創立指揮者の称号を贈られている。指揮者としての活動は、バッハの『ミサ曲ロ短調』やシベリウスの作品を得意とし、世界で初めて、シベリウス全交響曲のステレオ録音とデジタル初録音をそれぞれ行い高い評価を得ている。シベリウス以外にも北欧の作曲家をしばしば取り上げ、ニールセンやグリーグ等の演奏、録音を行っている。日本のオーケストラのレパートリーというとドイツ・オーストリアの作曲家が主流であった時期に、このように北欧出身の作曲家を積極的に取り上げたのは、母がフィンランド人であることによる北欧への共感が大きかったと思われる。渡辺は1921年に母・シーリの里帰りについて兄・忠恕と共にフィンランドに渡り、その後シーリが病気のため腎臓を切除する大手術を行うなどした関係で、一家で1924年までフィンランドに在住していた。レパートリーは非常に広大で、特に日フィル時代は、ベートーヴェン、ブラームス、チャイコフスキーといった古典・ロマン派の人気曲から近現代音楽までレコーディング、死後に26枚組のCDセット「渡邉曉雄と日本フィル」にまとめられている。国内での活動が主であるが1982年には、来日したヘルシンキ・フィルハーモニー管弦楽団を指揮した。創設され、若手指揮者への音楽賞、および、オーケストラ界に貢献した関係者への特別賞が設定されている。