Dokonči nasledujúcu vetu: Davidson sa narodil v okrese Fairfax, Virginia. Bol synom Williama B. Davidsona, dôstojníka delostrelectva v armáde Spojených štátov a bývalého Elizabeth Chapman Hunter. Bol najstarším zo štyroch synov; jeho bratia boli Hunter, Roger a Charles. Jeho otec zomrel na chorobu, keď slúžil na Floride počas
Druhá Seminole vojna v roku 1840. Jeho matka zomrela o desať rokov neskôr, krátko po tom, ako sa znova vydala.