Ny ray aman-dreniny dia teraka tany Angletera, avy amin'ny taranaka katolika irlandey, ary ny reniny, Mary (née Foley), dia katolika irlandey. Ny ray aman-dreniny dia nanambady tamin'ny 1855. Tamin'ny 1864 dia niparitaka ny fianakaviana noho ny fisotroan-toaka mitombo an'i Charles, ary ny ankizy dia napetraka vonjimaika manerana an'i Edinburgh. Tamin'ny 1867, niara-nivory indray ny fianakaviana ary nipetraka tao amin'ny trano fonenana mahantra tao amin'ny 3 Sciennes Place. Ny rain'i Doyle dia maty tamin'ny 1893, tao amin'ny Crichton, Royal Dumfries, taorian'ny taona maro nisian'ny aretina ara-tsaina.
22 Mey 1859