Po rozsáhlé reorganizaci během zimy 1863-1864, Walker a armáda Potomacu bojovali v pozemní kampani v květnu a červnu 1864. Bitva u Cold Harboru na začátku června si vyžádala značné ztráty v řadách II. sboru a Walker si během bitvy zranil koleno. Během následujícího tažení Richmond-Petersburg byl Walker jmenován důstojnickým plukovníkem. Nicméně, 25. srpna 1864, když jel hledat generála Johna Gibbona na frontě během druhé bitvy u Ream's Station
Walker byl obklíčen a zajat 11. pěchotou z Georgie. Dne 27. srpna se Walkerovi podařilo utéct z pochodujícího vězeňského sloupu s dalším vězněm, ale byl znovu zajat 51. pěchotou Severní Karolíny poté, co se pokusil překročit řeku Appomattox a téměř se utopil. Poté, co byl držen jako vězeň v Petersburgu, byl převezen do nechvalně známé Libbyovy věznice v Richmondu, kde byl také jeho starší bratr. V říjnu 1864 byl Walker propuštěn spolu s třiceti dalšími vězni jako součást výměny.