V roce 1813 se Ruffin oženil se Susan Hutchings Travisovou z Williamsburgu. Pár se přestěhoval na plantáž, kterou Ruffin zdědil po svém dědečkovi, v Coggin's Point, podél řeky James v okrese Prince George, který byl zaznamenán jako odjezdový bod Benedicta Arnolda poté, co v roce 1781 změnil věrnost a vpadl podél řeky James (včetně Richmondu). Měli jedenáct dětí, než Susan Ruffin zemřela v roce 1846, ačkoli většina zemřela před koncem americké občanské války a jejich otec spáchal sebevraždu: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, který zemřel v bitvě u Drewry's Bluff
Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; absolvent VMI, který přežil válku), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) a George Champion Ruffin (1845-1913).