グラントは1865年1月8日にバトラーに彼の召還を告知し,エドワード・オ・C・オード少将をジェームズ軍の司令官に任命した. バトラーはローウェルに報告するのではなく,ワシントンへ行き,そこでかなりの政治的つながりを利用して1月中旬に戦争遂行に関する合同議会委員会の前で公聴会を行いました. バトラー弁護人は フィッシャー砦での行動に 焦点を当てた. 彼は,グラント将軍の逆の命令にもかかわらず,フィッシャー砦への攻撃を中止することが正しいことを証明するために,下属の報告書の図表と複製を提示しました. バトラーが主張したのは 砦は不可侵だ バトラーが恥ずかしくなったのは,アルフレッド・H・テリー少将とアデルバート・エイムズ准将 (バトラーの将来の義理の息子) が率いる追跡遠征隊だった.
1月15日に要塞を占領し,この勝利のニュースは委員会聴聞中に到着しました. バトラーの軍事キャリアは終わった. 1865年11月まで公式に留保され,南軍のジェファーソン・デイビス大統領の軍事検察官として働くという考えがあった.