Morse feleségül vette Lucretia Pickering Walker-t 1818. szeptember 29-én Concordban, New Hampshire-ben. 1825. február 7-én, röviddel a harmadik gyermekük születése után halt meg (Susan b. 1819, Charles b. 1823, James b. 1825). 1848. augusztus 10-én feleségül vette második feleségét, Sarah Elizabeth Griswold-ot Utica-ban, New York-ban, és négy gyermeke született (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utica