Davidson werd geboren in Fairfax County, Virginia. Hij was de zoon van William B. Davidson, een artillerieofficier in het leger van de Verenigde Staten, en de voormalige Elizabeth Chapman Hunter. Hij was de oudste van vier zonen; zijn broers waren Hunter, Roger en Charles. Zijn vader stierf aan een ziekte... terwijl hij in Florida diende tijdens de
Tweede Seminole Oorlog in 1840. Zijn moeder stierf tien jaar later, kort nadat ze hertrouwd was.