Asheův vnuk, William Ashe, byl vojákem Konfederace v americké občanské válce a synem Johna B. a bývalé Eliza Hayové. Byl zabit v Shiloh
v Tennessee v roce 1862, bitva, ve které Williamův bratr, Samuel Swann Ashe, také bojoval.