Na Campaña de Vicksburg de Grant, Logan comandou a 3a División do XVII Corpo de James B. McPherson, que foi o primeiro en entrar na cidade de Vicksburg en xullo de 1863 despois da súa captura. Logan serviu entón como gobernador militar da cidade. En novembro de 1863 sucedeu a William Tecumseh Sherman no mando do XV Corpo; e na Batalla de Atlanta
(22 de xullo de 1864), despois da morte de James B. McPherson durante o día, asumiu o mando do Exército de Tennessee. Foi substituído pouco tempo despois por Oliver O. Howard. Volveu a Illinois para as eleccións de 1864, pero volveu ao exército despois e comandou o seu XV corpo na campaña de Sherman nas Carolinas.