El seu pare, Charles Altamont Doyle, va néixer a Anglaterra, d'ascendència catòlica irlandesa, i la seva mare, Mary (née Foley), era catòlica irlandesa. Els seus pares es van casar el 1855. El 1864 la família es va dispersar a causa de l'alcoholisme creixent de Charles, i els nens van ser allotjats temporalment a Edimburg. El 1867, la família es va reunir de nou i va viure en pisos de lloguer miserables al 3 Sciennes Place. El pare de Doyle va morir el 1893, a Crichton, Dumfries, després de molts anys de malaltia psiquiàtrica.
Crichton Royal, Dumfries,