Grantas 1865 m. Sausio 8 d. informavo Butlerį apie savo atšaukimą ir paskyrė generalą majorą Edwardą O. C. Ordą, kuris jį pakeitė kaip Džeimso armijos vadas. Užuot kreipęsis į Lowellą, Butleris nuvyko į Vašingtoną, kur pasinaudojo savo politiniais ryšiais, kad sausio viduryje būtų išklausytas Kongreso jungtinio komiteto dėl karo vykdymo. Per teismo posėdį Butleris savo gynybos metu daugiausia dėmesio skyrė savo veiksmams Fort Fišere. Jis pateikė žemėlapius ir pavaldinių ataskaitų kopijas, kad įrodytų, jog buvo teisus, atšaukdamas ataką prieš Fort Fisher, nepaisant generolio Granto įsakymų priešingai. Butleris tvirtino, kad fortas yra neprieinamas. Jo gėdui, vėlesnė ekspedicija, vadovaujama generolio majoro Alfredo H. Terry ir brigados generolio Adelberto Ameso (Butlerio būsimas žentas), užėmė fortą.
sausio 15 d. ir žinios apie šią pergalę atėjo per komiteto posėdį; Butler karinė karjera buvo baigta. Jis buvo oficialiai įdarbintas iki 1865 m. Lapkričio, kad galėtų būti konfederacijos prezidento Jeffersono Daviso kariniu prokuroru.