A 34. Arkansas később szolgált Little Rock védelmében 1863. szeptemberében Fagan brigádjával. A Little Rock-i uniós előretörést elsősorban Marmaduke és Walker tábornokok konföderációs lovassági hadosztályai ellenezték. A konföderációs gyalogos brigádok az Arkansas folyó északi partján voltak. Ethan Allen Pinnell kapitány szerint a Missouri 8-as gyalogsági hadseregből: "A munkánk az Arkansas folyótól két mérföldre a város alól Crystal Hill keleti részéig terjed, 6 mérföldes távolságra. Gen'l Fagan brigádja a szélső jobb oldalon, Parson a Fagan bal oldalon, Frost a közepén és McRea a bal oldalon". Az uniós erők pontonhidat építettek a Bayou Fourche közelében, és átkeltek a nagyon alacsony Arkansas folyó déli oldalára. A folyó északi oldalán lévő épületeivel együtt Price tábornok távozni kényszerült a városból szeptember 10-én, egy rövid
Foglalkozás Bayou Fourche-ban. Price serege visszavonult Rockport irányába. Alexander T. Hawthorn ezredes 1863 őszén vette át a parancsnokságot. Az ezred 1863-64 telén Camdenben, Ouachita megyében töltötte.