Li te marye ak Lucretia Pickering Walker sou 29 septanm 1818, nan Concord, New Hampshire. Li te mouri sou 7 fevriye 1825, yon ti tan apre nesans nan twazyèm pitit yo (Susan b. 1819, Charles b. 1823, James b. 1825). Li te marye ak dezyèm madanm li, Sarah Elizabeth Griswold sou Out 10, 1848, nan Utica, New York e li te gen kat timoun (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utica