Davidson urodził się w hrabstwie Fairfax w stanie Wirginia. Był synem Williama B. Davidsona, oficera artylerii w armii Stanów Zjednoczonych, i byłej Elizabeth Chapman Hunter. Był najstarszym z czterech synów; jego braćmi byli Hunter, Roger i Charles. Jego ojciec zmarł na chorobę podczas służby na Florydzie podczas
Druga wojna Seminole w 1840 roku. Jego matka zmarła dziesięć lat później, wkrótce po tym, jak ponownie wyszła za mąż.