Morse s-a căsătorit cu Lucretia Pickering Walker pe 29 septembrie 1818, în Concord, New Hampshire. Ea a murit pe 7 februarie 1825, la scurt timp după nașterea celui de-al treilea copil (Susan b. 1819, Charles b. 1823, James b. 1825). El s-a căsătorit cu a doua soție, Sarah Elizabeth Griswold, pe 10 august 1848, în Utica, New York și a avut patru copii (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utica