În timpul retragerii Confederației înapoi în Virginia, Brockenbrough a încercat să-și recupereze o parte din reputația sa deteriorată făcând un avans nesăbuit împotriva trupelor Uniunii la Falling Waters pe 14 iulie, suferind numeroase pierderi. Cinci zile mai târziu, fostul locotenent-colonel al regimentului Brockenbrough, generalul de brigadă Henry Harrison Walker, a primit comanda brigadei, returnându-l pe Brockenbrough în Regimentul 40 Virginia, pe care l-a condus la Bristoe și Mine Run.
- Da, domnule. La 21 ianuarie 1864, Brockenbrough a demisionat din Armata Statelor Confederate. El și-a păstrat gradul de colonel în rezervă până la sfârșitul anului 1864.