Tamin'ny taona 1885 dia nanambady an'i Louisa Hawkins (1857<unk>1906) i Doyle. Zanaka vavikelin'i J. Hawkins, avy any Minsterworth, Gloucestershire, izy ary anabavin'ny iray tamin'ireo marary an'i Doyle. Marary voan'ny tioberkilaozy i Louisa. Tamin'ny taona 1907 dia nanambady an'i Jean Elizabeth Leckie (1874<unk>1940), izay nihaonany voalohany ary raiki-pitia taminy tamin'ny taona 1897. Nihazona fifandraisana platonika tamin'i Jean izy raha mbola velona ny vadiny voalohany, noho ny tsy fivadihana taminy. Maty tany Londres i Jean. Nanana zanaka dimy i Doyle. Nanan-janaka roa niaraka tamin'ny vadiny voalohany izy: Mary Louise (1889<unk>1976) sy Arthur Alleyne, fantatra amin'ny anarana hoe "Touie") (1892<unk>1918). Nanana zanaka telo fanampiny niaraka tamin'ny vadiny faharoa izy: Denis Percy Stewart (1909<unk>1955), vadin'i Nina, andriambavy Zeorziana; maty tamin'ny taona 1910 i Jean Elizabeth Leck
Ny taona 1997