Gibbon dowodził 2. dywizją podczas kampanii lądowej generała Granta w maju i czerwcu 1864, widząc akcję w bitwach o Wilderness, Spotsylvania Court House i Cold Harbor. 7 czerwca 1864 r. został awansowany na generała-majora ochotników. Podczas kolejnej kampanii oblężenia Petersburga (czerwiec 1864 do kwietnia 1865 roku), Gibbon został zniechęcony, gdy jego żołnierze odmówili walki na stacji Ream
W sierpniu 1864. Przez krótki czas dowodził XVIII Korpusem, zanim wyjechał na urlop chorobowy, ale jego służba była zbyt cenna, powrócił, aby dowodzić nowo utworzonym XXIV Korpusem w Armii Jamesa. Jego oddziały pomogły osiągnąć decydujący przełom w Trzeciej Bitwie pod Petersburgiem w kwietniu 1865 roku, zdobywając Fort Gregg, część obrony Konfederacji. Podczas kampanii Appomattox pomógł zablokować konfederacką drogę ucieczki w bitwie pod Appomattox Courthouse, co doprowadziło do kapitulacji generała Lee. Był jednym z trzech komisarzy konfederatów.