Pada tahun 1864, keluarga itu berpecah karena kecanduan alkohol Charles yang semakin meningkat, dan anak-anaknya sementara ditempatkan di Edinburgh. Pada tahun 1867, keluarga itu kembali berkumpul dan tinggal di apartemen sewa yang buruk di 3 Sciennes Place. Ayah Doyle meninggal pada tahun 1893, di Crichton, Royal Dumfries, setelah bertahun-tahun menderita penyakit kejiwaan. Didukung oleh paman-paman kaya, Doyle dikirim ke Inggris, di sekolah persiapan Jesuit di St Hodder Place, Lancashire pada usia sembilan tahun (1868). Dia pergi ke St Hurst College untuk menghabiskan waktu bersekolah di St Hurst College sampai tahun 1855. Namun, pada tahun 1876, Doyle memutuskan bahwa ia tidak dapat menyelesaikan pendidikan di sekolah tersebut karena ketidakpuasan dan ketidakpuasan dengan ajaran agama Yahudi, dan kemudian ia menemukan bahwa ia tidak dapat memperbaiki dirinya sendiri.
Crichton Royal, Dumfries,