تزوجا مورس مع لوكريثيا بيكيرينغ ووكر في 29 سبتمبر 1818، في كونكورد، نيو هامبشير. ماتت في 7 فبراير 1825، من بعد فترة قصيرة من ميلاد طفلتهم الثالثة (سوزان ب. 1819، تشارلز ب. 1823، جيمس ب. 1825). تزوج من زوجته الثانية، سارة إليزابيث غريسوالد في 10 أغسطس 1848، في أوتيكا، نيويورك، وْوْلدا أربعة أطفال (سامويل ب. 1849، كورنيليا ب. 1851، ويليام ب. 1853، إدوارد ب. 1857).
أوتيكا