W 1863 roku bateria Elder została przydzielona do brygady artylerii konnej USA, gdzie służyła przez większość pozostałej części wojny. 1 sierpnia 1863 uzyskał stały awans na kapitana. W lutym 1864 roku Elder został oddelegowany na krótko, otrzymał wyróżnienie za odwagę w bitwie pod Olustee na Florydzie i został awansowany na majora. Po powrocie do Artyleryji Konnej ponownie został wezwany do akcji w Drewry's Bluff.
, 5 maja 1864 roku, i otrzymał tytuł podpułkownika. Pozostał w armii po wojnie i został awansowany na majora w 2. Artyleryjskiej 30 czerwca 1882 roku.