翌1936年7月29日に突如解任。当時のライバル企業阪神急行電鉄の球団阪急軍との練習試合で大敗したことが原因といわれている。森は元々、プロ野球界に投じることを決断しかねており、阪神との契約は口約束で、本契約でなかったのがマズかったといわれる[2]。1937年、新設された後楽園イーグルスの選手兼任監督として契約。1939年まで指揮を執り、自身も代打として4回出場している。コーチを務め、同大学初の2位躍進に貢献した。1947年秋季から1957年まで早稲田大学野球部の監督となり、任期21シーズン中9回の優勝を記録、同校の黄金時代を実現した(任期・優勝回数とも早大の歴代監督1位。サードを守っていた広岡をショートに回し、小森光生と広岡の三遊間コンビは早大の売り物なり、主将を務めた小森はかなりの好条件で毎日に入団、広岡はこの人がのちの私の運命を決めたと述べている[3]。この間同大学講師を務めた。1959年に大洋ホエールズの監督兼社長となる。当時西鉄ライオンズ監督だった後輩三原脩の招聘に尽力した。当初は球団社長のみ就任の予定だったが、三原引き抜きが報知新聞のスクープによって西鉄の知るところとなり頓挫したため、監督を兼任したといわれる。6年連続の最下位に終わったものの、翌年監督に就任する三原の為にその意を受けながらチームの大改革に着手、青田昇をはじめとするベテランを大量に解雇やトレードによって放出し大幅に若返りを計り、負け慣れた空気を一掃、キャプテンには三原が最も信頼を置く土井淳を就任させるなど、1年間を三原を戦うための土台を費やした[4]。翌1960年から1972年は同球団の代表、1960年は監督三原の下球団初のリーグ優勝・日本一になった。1973年から1976年まで同球団の本拠地球場でもある川崎球場の社長をつとめた[1]。大洋では球団社長、社長としての職歴が長く、球団の発展に貢献した[1]。翌1977年6月24日死去。