1864-ben a család szétszóródott, mert Charles növekvő alkoholizmus, és a gyerekek ideiglenesen elhelyezték Edinburgh. 1867-ben a család újra össze, és élt nyomorúságos bérlakásokban 3 Sciennes Place. Doyle apja meghalt 1893-ban, a Crichton, Royal Dumfries, miután sok évnyi pszichiátriai betegség. Támogatott gazdag nagybátyák, küldték Angliába, a jezsuita felkészítő iskola St Hodder Place, Lancashire. Az ő apja, Charles Altamont Doyle, született Angliában, az ír katolikus származású, és az édesanyja, Mary (née Foley), volt ír katolikus.
Foley