In Grant's Vicksburg-campagne, leidde Logan de 3e divisie van James B. McPherson's XVII Corps, die als eerste de stad Vicksburg binnenkwam in juli 1863 na de verovering ervan. Logan diende toen als militair gouverneur van de stad. In november 1863 volgde hij William Tecumseh Sherman op als bevelhebber van het XV Korps; en bij de Slag om Atlanta
Op 22 juli 1864, na de dood van James B. McPherson overdag, nam hij het commando over van het Army of the Tennessee. Hij werd kort daarna vervangen door Oliver O. Howard. Hij keerde terug naar Illinois voor de verkiezingen van 1864, maar voegde zich daarna weer bij het leger en leidde zijn XV-korps in Shermans Carolinas-campagne.