Napište pokračování tohoto odstavce - Davidson se narodil v Fairfax County, Virginie. Byl synem Williama B. Davidsona, dělostřeleckého důstojníka armády Spojených států, a bývalé Elizabeth Chapman Hunter. Byl nejstarším ze čtyř synů; jeho bratři byli Hunter, Roger a Charles. Jeho otec zemřel na nemoc, když sloužil na Floridě během druhé seminolské války.
V roce 1840. Jeho matka zemřela o deset let později, krátce poté, co se znovu vdala.