Ashe's kleinzoon, William Ashe, was een soldaat van de Confederatie in de Amerikaanse Burgeroorlog, en een zoon van John B. en de voormalige Eliza Hay. Hij werd gedood in Shiloh.
in Tennessee in 1862, een strijd waarin William's broer, Samuel Swann Ashe, ook vocht.