Í 1813 giftist Ruffin Susan Hutchings Travis frá Williamsburg. Hjónin fluttust á plantaði sem Ruffin erfði frá nafngjafa sínum, í Coggin's Point, meðfram James River í Prince George County, sem var tekið fram sem brottfararstaður Benedict Arnold eftir að hann skipti um trú og ráðist meðfram James River (þar á meðal Richmond) árið 1781. Þau eignuðust ellefu börn áður en Susan Ruffin dó árið 1846, þó að flestir yrðu látnir áður en bandaríska borgarastyrjöldin lauk og faðir þeirra framdi sjálfsmorð: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816<unk>1865), Julian Calx Ruffin (1821<unk>1864, sem dó í Slaginu við Drewry's Bluff
), Elizabeth Ruffin Sayre (1821<unk>1860), Rebecca Ruffin Bland (1823<unk>1855), Jane Ruffin Dupuy (1829<unk>1855), Charles Lorraine Ruffin (1832<unk>1870; útskrifaður frá VMI sem lifði af stríðinu), Ella Ruffin (1832<unk>1855), Ann Ruffin (1844<unk>1863) og George Champion Ruffin (1845-1913).