Completa a seguinte frase: En 1813, Ruffin casou con Susan Hutchings Travis de Williamsburg. A parella trasladouse a unha plantación que Ruffin herdou do seu avó homónimo, en Coggin's Point, ao longo do río James no condado de Prince George, que foi o punto de partida de Benedict Arnold despois de cambiar de lealdade e asaltar ao longo do río James (incluíndo Richmond) en 1781. Tiveron once fillos antes de que Susan Ruffin morrese en 1846, aínda que a maioría morreran antes de que a Guerra Civil Americana rematara e o seu pai se suicidase: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, que morreu na
Batalla de Drewry's Bluff), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; graduado do VMI que sobreviviu á guerra), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) e George Champion Ruffin (1845-1913).