Ashe anūkas, William Ashe, buvo Konfederacijos karys Amerikos pilietiniame kare, ir Džono B. ir buvusios Eliza Hay sūnus. Jis buvo nužudytas Šiloje.
1862 m. Tenesio valstijoje, mūšyje, kuriame taip pat dalyvavo Williamo brolis Samuelis Svanas Asas.