V roce 1863 byla Elderova baterie přidělena k U.S. Horse Artillery Brigade, kde sloužila po většinu zbývající části války. 1. srpna 1863 získal trvalé povýšení na kapitána. V únoru 1864 byl Elder krátce oddělen, byl citován za statečnost v bitvě u Olustee na Floridě a získal povýšení na majora. Když se vrátil do konské dělostřelectvy, byl opět citován za akce v Drewry's Bluff
5. května 1864 byl povýšen na podplukovníka. Po válce zůstal v armádě a 30. června 1882 byl povýšen na majora ve 2. americké dělostřelectvě.