Hänen vanhempansa menivät naimisiin vuonna 1855. Vuonna 1864 perhe hajosi Charlesin kasvavan alkoholismin vuoksi, ja lapset asuivat väliaikaisesti Edinburghissa. Vuonna 1867 perhe tuli jälleen yhteen ja asui kurjuissa vuokra-asuntoissa Sciennes Place 3: ssä. Doyle'n isä kuoli vuonna 1893 Crichtonissa, Royal Dumfriesissa, monien psykiatrisen sairauden vuosien jälkeen.
22. toukokuuta 1859