1864-ben a család szétszóródott, mert Charles növekvő alkoholfogyasztása, és a gyerekek ideiglenesen elhelyezték Edinburgh. 1867-ben, a család újra összejöttek, és élt nyomorúságos bérlakásokban 3 Sciennes Place. Doyle apja meghalt 1893-ban, a Crichton, Royal Dumfries, miután sok évnyi pszichiátriai betegség. Támogatott gazdag nagybátyák, küldték Angliába, a jezsuita felkészítő iskola St Hodder Place, Lancashire.
1859. május 22.