Wnuk Ashe'a, William Ashe, był żołnierzem Konfederacji w amerykańskiej wojnie secesyjnej i synem Johna B. i byłej Elizy Hay. Został zabity w Shiloh
w Tennessee w 1862 roku, w bitwie, w której walczył również brat Williama, Samuel Swann Ashe.