Faðir hans, Charles Altamont Doyle, fæddist í Englandi, af írsku kaþólskum ættum, og móðir hans, Mary (fædd Foley), var írska kaþólsk. Foreldrar hans giftu sig árið 1855. Árið 1864 dreifðist fjölskyldan vegna vaxandi áfengissjúkdóms Charles, og börnin voru tímabundið búsett í Edinborg. Árið 1867 kom fjölskyldan saman aftur og bjó í ógeðslegum íbúðum á Sciennes Place 3. Faðir Doyle dó árið 1893, í Crichton, Royal Dumfries, eftir mörg ár af geðrænum sjúkdómum. Studdur af ríkum frændum, var Doyle sendur til Englands, í Jesuit undirbúningsskóla Place Hodder, í Lancashire.
22. maí 1859