Gibbon byl znovu ve velení 2. divize během pozemní kampaně generála Granta v květnu a červnu 1864, viděl akci v bitvách Wilderness, Spotsylvania Court House a Cold Harbor. Dne 7. června 1864 byl povýšen na generála dobrovolníků. Během následného obléhání Petersburgu (červen 1864 až dubna 1865) se Gibbon zklamal, když jeho vojáci odmítli bojovat na Reamově stanici
v srpnu 1864. Krátce velel XVIII. sboru, než odešel na nemocenskou dovolenou, ale jeho služba byla příliš cenná, vrátil se, aby velel nově vytvořenému XXIV. sboru v armádě Jamese. Jeho vojska pomohla dosáhnout rozhodujícího průlomu v Třetí bitvě u Petrohradu v dubnu 1865, kdy dobyla Fort Gregg, součást obrany Konfederace. Během kampaně Appomattox pomohl zablokovat útěk konfederace v bitvě u Appomattox Courthouse, což vedlo k kapitulaci generála Lee. Byl jedním ze tří komisařů pro kapitulaci Konfederace.