Kun konfederaatiot vetäytyivät Virginian puolelle, Brockenbrough yritti saada takaisin osan vahingoittuneesta maineestaan ryhtymällä vastuuttomasti hyökkäämään unionin joukkoja vastaan Falling Watersissa 14. heinäkuuta ja kärsinyt lukuisista tappioista. Viisi päivää myöhemmin Brockenbrough'n entinen rykmentin everstiluutnantti, prikaattigeneraali Henry Harrison Walker, sai komennon prikaatista, palauttaen Brockenbroughin 40. Virginian, jota hän johti Bristoe ja Mine Runissa.
- Mitä? Tammikuun 21. päivänä 1864 Brockenbrough erosi Konfederaatioarmeijasta. Hän säilytti everstiluokkansa reservissä vuoden 1864 loppuun saakka.