In 1863 werd de batterij van Elder toegewezen aan de U.S. Horse Artillery Brigade, waar ze het grootste deel van de rest van de oorlog diende. Op 1 augustus 1863 werd hij permanent bevorderd tot kapitein. In februari 1864 werd Elder kort gedetacheerd, werd hij geciteerd voor dapperheid in de Slag bij Olustee in Florida en kreeg hij de brevetpromotie tot majoor. Teruggekeerd naar de Horse Artillery, werd hij opnieuw aangehaald voor acties bij Drewry's Bluff
Op 5 mei 1864 werd hij gepromoveerd tot luitenant-kolonel. Hij bleef bij het leger na de oorlog en werd gepromoveerd tot majoor in de 2e Amerikaanse artillerie, op 30 juni 1882.