Charles und Emmas erstes Kind Annie starb im Alter von zehn Jahren, Mary, das dritte Kind, kurz nach der Geburt. Das zehnte und letzte Kind, Charles junior, zeigte Entwicklungsstörungen, begann nie zu sprechen und starb noch vor seinem zweiten Geburtstag. Andere Kinder waren zum Teil über Jahre bettlägerig.