Rampungake ukara ing ngisor iki: Ing 1813, Ruffin nikah karo Susan Hutchings Travis saka Williamsburg. Pasangan kasebut pindhah menyang perkebunan sing diwarisake dening Ruffin saka simbah, ing Coggin's Point, ing sadawane Kali James ing Prince George County, sing kacathet minangka titik departure Benedict Arnold sawise dheweke ngganti kesetiaan lan nyerang sadawane Kali James (kalebu Richmond) ing taun 1781. Dheweke duwe sewelas anak sadurunge Susan Ruffin tilar donya ing taun 1846, sanajan umume bakal mati sadurunge Perang Sipil Amerika rampung lan bapake bunuh diri: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816<unk>1865), Julian Calx Ruffin (1821<unk>1864, sing tilar donya ing
Perang Drewry's Bluff), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; lulusan VMI sing slamet saka perang), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) lan George Champion Ruffin (1845-1913).