Jo tėvai susituokė 1855 m. 1864 m. Šeima išsiskyrė dėl Čarlso augančio alkoholizmo, o vaikai laikinai buvo apgyvendinti Edinburge. 1867 m. Šeima vėl susirinko ir gyveno apgailėtinuose butuose 3 Sciennes Place. Doyle'o tėvas mirė 1893 m. Crichtone, Royal Dumfries, po daugelio metų psichiatrinių ligų. Pagalbotas turtingų dėdų, Doyle buvo išsiųstas į Angliją, į jėzuitų pasirengimo mokyklą St Hodder Place, Lancashire.
Foley