V roku 1813 sa Ruffin oženil so Susan Hutchingsovou Travisovou z Williamsburgu. Pár sa presťahoval na plantáž, ktorú Ruffin zdedil po svojom dedkovi, v Coggin's Point pozdĺž rieky James v okrese Prince George, ktorá bola zaznamenaná ako východiskový bod Benedicta Arnolda po tom, čo v roku 1781 vymenil vernosť a napadol pozdĺž rieky James (vrátane Richmondu). Pred smrťou Susan Ruffinovej v roku 1846 mali jedenásť detí, hoci väčšina zomrela pred koncom americkej občianskej vojny a ich otec spáchal samovraždu: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, ktorý zomrel v bitke pri Drewry's Bluff
), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; absolvent VMI, ktorý prežil vojnu), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) a George Champion Ruffin (1845-1913).