Rugadh Doyle air 22 Cèitean 1859 aig 11 Picardy Place, Edinburgh, Alba. Rugadh a athair, Charles Altamont Doyle, ann an Sasainn, de shliochd Caitligeach Èireannach, agus bha a mhàthair, Mary (née Foley), Caitligeach Èireannach. Phòs a phàrantan ann an 1855. Ann an 1864 sgaoil an teaghlach air sgàth deoch làidir Charles a'sìor fhàs, agus chaidh an clann a chumail gu sealach air feadh Dùn Èideann. Ann an 1867, thàinig an teaghlach còmhla a-rithist agus bha iad a' fuireach ann an taighean-cinnidh squalid aig 3 Sciennes Place.
Crichton Royal, Dumfries,