Davidson gimė Fairfax apygardoje, Virdžinijoje. Jis buvo Williamo B. Davidsono, Jungtinių Valstijų armijos artilerijos pareigūno, ir buvusios Elizabeth Chapman Hunter sūnus. Jis buvo vyriausias iš keturių sūnų; jo broliai buvo Hanterius, Rodžeris ir Čarlzas. Jo tėvas mirė nuo ligos, kai tarnavo Floridoje per
Antrasis Seminolių karas 1840 metais. Jo motina mirė po dešimties metų, netrukus po to, kai vėl susituokė.