Írj folytatást erre a bekezdésre - 1813-ban Ruffin feleségül vette Susan Hutchings Travist Williamsburgból. A házaspár egy olyan ültetvényre költözött, amelyet Ruffin örökölt a nevét viselő nagyapjától, a Coggin's Point-ban, a James folyó mentén Prince George megyében, amelyet Benedict Arnold indulási pontjaként jegyeztek fel, miután 1781-ben hűséget váltott és a James folyó mentén (beleértve Richmondot is) rajtaütött. Tizenegy gyermekük volt, mielőtt Susan Ruffin 1846-ban meghalt, bár a legtöbbjük az amerikai polgárháború vége előtt halt meg, és apjuk öngyilkos lett: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, aki a Drewry's Bluff csatában halt meg
Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; VMI diplomás, aki túlélte a háborút), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) és George Champion Ruffin (1845-1913).