Lia patro, Charles Altamont Doyle, estis naskita en Anglio, de irlanda katolika deveno, kaj lia patrino, Mary (née Foley), estis irlanda katolika. Liaj gepatroj geedziĝis en 1855. En 1864 la familio disiĝis pro la kreskanta alkoholismo de Karlo, kaj la infanoj estis provizore loĝigitaj trans Edinburgo. En 1867, la familio denove kuniĝis kaj vivis en mizeraj luitaj loĝejoj ĉe 3 Sciennes Place. La patro de Doyle mortis en 1893, en la Crichton, Royal Dumfries, post multaj jaroj da psikiatria malsano. Subtenata de riĉaj onkloj, Doyle estis sendita al Anglio, en la jezuitprepara lernejo ĉe St Hodder Place, en Lancashire.
Crichton Royal, Dumfries,