W 1813 roku Ruffin ożenił się z Susan Hutchings Travis z Williamsburg. Para przeniosła się na plantację, którą Ruffin odziedziczył po swoim dziadku, w Coggin's Point, wzdłuż rzeki James w hrabstwie Prince George, która została uznana za punkt wyjścia Benedicta Arnolda po tym, jak zmienił lojalność i dokonał nalotu wzdłuż rzeki James (w tym Richmond) w 1781 roku. Mieli jedenaście dzieci, zanim Susan Ruffin zmarła w 1846 roku, chociaż większość z nich zmarła przed zakończeniem amerykańskiej wojny domowej i popełnieniem przez ich ojca samobójstwa: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, który zmarł w bitwie pod Drewry's Bluff
), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; absolwent VMI, który przeżył wojnę), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) i George Champion Ruffin (1845-1913).