Užbaigi šį sakinį: 1813 m. Ruffinas vedė Susan Hutchings Travis iš Williamsburgo. Pora persikėlė į plantaciją, kurią Ruffinas paveldėjo iš savo senelio, Coggin's Point, prie Džeimso upės Princo Džordžo apygardoje, kuri buvo pažymėta kaip Benedikto Arnoldo išvykimo taškas po to, kai jis pakeitė ištikimybę ir įsiveržė prie Džeimso upės (įskaitant Richmondą) 1781 m. Jie turėjo vienuolika vaikų, kol 1846 m. mirė Susan Ruffin, nors dauguma mirė prieš baigdamas Amerikos pilietinį karą ir jų tėvas nusižudė: Edmundas Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julianas Calx Ruffin (1821-1864, kuris mirė per
Drewry's Bluff mūšis), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; VMI absolventė, išgyvenusi karą), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) ir George Champion Ruffin (1845-1913).