O 1 de xullo de 1863, Walker foi ascendido a xeneral de brigada e despois da campaña de Gettysburg foi asignado á división do III Cuerpo do Exército do Norte de Virxinia do xeneral de división Henry Heth, inicialmente comandando a antiga brigada de Heth, despois a brigada do xeneral de brigada James J. Archer tamén, despois da grave ferida de Archer. Walker serviu como comandante de brigada baixo Heth ata que perdeu o pé esquerdo na batalla de Spotsylvania Court House o 10 de maio de 1864. Participou na batalla de Bristoe Station o 14 de outubro de 1863, na batalla de Mine Run
e, despois de servir no Val de Shenandoah durante o inverno de 1864-1864, na Batalla do Deserto antes de ser ferido na Corte de Spotsylvania.