Davidson fæddist í Fairfax-héraði í Virginíu. Hann var sonur William B. Davidson, byssuþjónustufulltrúa í bandaríska hernum, og fyrrverandi Elizabeth Chapman Hunter. Hann var elsti fjögurra syna; bræður hans voru Hunter, Roger og Charles. Fađir hans dķ úr sjúkdómi ūegar hann þjónađi í Flķrída í
Önnur Seminolastríđin árið 1840. Móðir hans dó tíu árum síðar, skömmu eftir að hún giftist aftur.