在1813年, 魯芬與威廉斯堡的蘇珊哈奇斯特拉維斯結婚. 這對夫妻搬到Ruffin從他的同名祖父繼承的種植園, 在Coggin的點, 在詹姆斯河沿著喬治王子縣, 這是本尼迪克特·阿諾德在1781年改變忠誠並沿著詹姆斯河 (包括里士滿) 突襲後的出發點. 他們在蘇珊拉芬1846年去世之前生了十一個孩子,雖然大部分都在美內戰結束之前死去,他們的父親也自殺了:艾德蒙拉芬小 (1814-1875),阿格尼斯拉芬貝克威斯 (1816-1865),朱利安卡爾克斯拉芬 (1821-1864),死在德魯瑞的布拉夫戰役
),伊莉莎白·拉芬·塞爾 (1821年至1860年),瑞貝卡·拉芬·布蘭德 (1823年至1855年),珍妮·拉芬·杜普伊 (1829年至1855年),查爾斯·洛林·拉芬 (1832年至1870年;在戰爭中幸存下來的VMI畢業生),艾拉·拉芬 (1832年至1855年),安·拉芬 (1844年至1863年) 和喬治·冠軍·拉芬 (1845年至1913年).