ב-1813, רפין התחתן עם סוזן האצ'ינגס טרוויס מוויליאמסבורג. בני הזוג עברו לגינה שרפין ירש מסבו, בקוג'ין'ס פוינט, לאורך נהר ג'יימס במחוז פרינס ג'ורג', שנזכרה כנקודת היציאה של בנדיקט ארנולד לאחר שהוא החלף נאמנות ופשוט לאורך נהר ג'יימס (כולל ריצ'מונד) בשנת 1781. היו להם 11 ילדים לפני שסוזן רפין מתה ב-1846, אם כי רובם מתו לפני שהמלחמה האזרחית האמריקאית הסתיימה ואביהם התאבד: אדמונד רפין ג'וניור (1814-1875), אגנס רפין בקווית (1816-1865), ג'וליאן קאלקס רפין (1821-1864, שמת בקרב דרורי'ס בלף
), אליזבת רפין סייר (1821<unk>1860), רבקה רפין בלנד (1823<unk>1855), ג'יין רפין דופוי (1829<unk>1855), צ'ארלס לוריין רפין (1832<unk>1870; בוגר VMI ששרד את המלחמה), אלה רפין (1832<unk>1855), אן רפין (1844<unk>1863) וג'ורג' צ'מפיון רפין (1845-1913).