Completa la següent frase: Grant va informar a Butler del seu recall el 8 de gener de 1865, i va nomenar el major general Edward O. C. Ord per reemplaçar-lo com a comandant de l'Exèrcit del James. En lloc d'informar a Lowell, Butler va anar a Washington, on va utilitzar les seves considerables connexions polítiques per obtenir una audiència davant el Comitè Mixt del Congrés sobre la Conducta de la Guerra a mitjans de gener. En la seva audiència, Butler va centrar la seva defensa en les seves accions a Fort Fisher. Va presentar llistes i còpies de informes dels seus subordinats per demostrar que havia tingut raó en cancel·lar el seu atac a Fort Fisher, malgrat les ordres del general Grant en contra. Butler afirmava que el fort era inexpugnable. Per a la seva vergonya, una expedició de seguiment dirigida pel major general Alfred H. Terry i el general de brigada Adelbert Ames (futur gendre de Butler)
va capturar el fort el 15 de gener, i les notícies d'aquesta victòria van arribar durant l'audiència del comitè; la carrera militar de Butler havia acabat. Va ser formalment retingut fins al novembre de 1865 amb la idea que podria actuar com a fiscal militar del president confederat Jefferson Davis.