Gibbon was weer aan het bevel van de 2e divisie tijdens de Overland Campaign van generaal Grant in mei en juni 1864, waarbij hij actie zag in de veldslagen van de Wildernis, Spotsylvania Court House en Cold Harbor. Op 7 juni 1864 werd hij gepromoveerd tot generaal-majoor van de vrijwilligers. Tijdens de daaropvolgende belegeringscampagne van Petersburg (juni 1864 tot april 1865) raakte Gibbon ontmoedigd toen zijn troepen weigerden te vechten bij Ream's Station
in augustus 1864. Hij leidde kort het XVIII Korps voordat hij op ziekteverlof ging, maar zijn dienst was te waardevol, hij keerde terug om het nieuw gecreëerde XXIV Korps in het Leger van de James te bevelen. Zijn troepen hielpen de beslissende doorbraak te bereiken in de Derde Slag bij Petersburg in april 1865, waarbij Fort Gregg, een deel van de verdediging van de Confederatie, werd veroverd. Tijdens de Appomattox-campagne hielp hij de ontsnappingsroute van de Confederatie te blokkeren in de Slag bij Appomattox Courthouse, wat resulteerde in de overgave van generaal Lee. Hij was een van de drie commissarissen voor de overgave van de Confederatie.