Morse avioitui Lucretia Pickering Walkerin kanssa 29. syyskuuta 1818 Concordissa, New Hampshiressä. Hän kuoli 7. helmikuuta 1825, pian heidän kolmannen lapsensa syntymän jälkeen (Susan b. 1819, Charles b. 1823, James b. 1825). Hän avioitui toisen vaimonsa Sarah Elizabeth Griswoldin kanssa 10. elokuuta 1848 Uticassa, New Yorkissa ja sai neljä lasta (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857). Kysymys: Missä kaupungissa Sarah Elizabeth Griswold meni naimisiin?
Utica