مورس تزوج لوكريشيا بيكيرينج ووكر في 29 سبتمبر 1818 في كونكورد، نيو هامبشاير. توفيت في 7 فبراير 1825، بعد فترة وجيزة من ولادة طفلهم الثالث (سوزان b. 1819، تشارلز b. 1823، جيمس b. 1825). تزوج من زوجته الثانية، سارة إليزابيث غريسولد في 10 أغسطس 1848 في أوتيكا، نيويورك وكان له أربعة أطفال (صموئيل b. 1849، كورنيليا b. 1851، ويليام b. 1853، إدوارد b. 1857).
يوتيكا