Wong tuwané nikah ing taun 1855. Ing taun 1864, kulawargane bubar amarga alkoholisme Charles sing tuwuh, lan bocah-bocah kasebut sementara manggon ing Edinburgh. Ing taun 1867, kulawargane kumpul maneh lan urip ing apartemen sewa ing 3 Sciennes Place. Bapak Doyle tilar donya ing taun 1893, ing Crichton, Royal Dumfries, sawise pirang-pirang taun penyakit psikiatri. Didhukung dening paman-pamané sing sugih, Doyle dikirim menyang Inggris, ing sekolah persiapan Jesuit ing St Hodder Place, Lancashire.
Crichton Royal, Dumfries,