Morse'as 1818 m. rugsėjo 29 d. susituokė su Lucretia Pickering Walker Concord, New Hampshire. Ji mirė 1825 m. vasario 7 d., netrukus po jų trečiojo vaiko gimimo (Susan b. 1819, Charles b. 1823, James b. 1825). Jis susituokė su savo antrąja žmona Sara Elizabeth Griswold 1848 m. rugpjūčio 10 d. Utica, Niujorkas ir turėjo keturis vaikus (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utika