Jo tėvai susituokė 1855 m. 1864 m. Šeima išsiskyrė dėl Čarlzo augančio alkoholizmo, o vaikai laikinai buvo apgyvendinti Edinburge. 1867 m. Šeima vėl susirinko ir gyveno prastose būstinėse Sciennes Place 3. Doyle tėvas mirė 1893 m. Crichtone, Royal Dumfries, po daugelio metų psichiatrinių ligų.
Crichtonas Royalas, Dumfriesas,