O seu pai, Charles Altamont Doyle, naceu en Inglaterra, de ascendencia católica irlandesa, e a súa nai, Mary (nacida Foley), era católica irlandesa. Os seus pais casaron en 1855. En 1864 a familia se dispersou por mor do crecente alcoholismo de Charles, e os nenos foron temporalmente aloxados en Edimburgo. En 1867, a familia volveu a reunirse e viviu en sórdidos pisos en 3 Sciennes Place. O pai de Doyle morreu en 1893, en Crichton, Dumfries, despois de moitos anos de enfermidade psiquiátrica. Apoiado por ricos tíos, foi enviado a Inglaterra, na escola preparatoria xesuíta de St Hodder Place, en Lancashire.
22 de maio de 1859