Andika mwendelezo wa fungu hili - Davidson alizaliwa katika Kaunti ya Fairfax, Virginia. Alikuwa mwana wa William B. Davidson, afisa wa makombora katika Jeshi la Marekani, na Elizabeth Chapman Hunter wa zamani. Alikuwa mzaliwa wa kwanza kati ya wana wanne; ndugu zake walikuwa Hunter, Roger, na Charles. Baba yake alikufa kutokana na ugonjwa alipokuwa akitumikia huko Florida wakati wa Vita vya Pili vya Seminole
mwaka wa 1840. Mama yake alikufa miaka kumi baadaye, muda mfupi baada ya kuoa tena.