Davidson Fairfax megyében született, Virginia államban. William B. Davidson, az Egyesült Államok hadseregének tüzérségi tisztje és a volt Elizabeth Chapman Hunter fia volt. Ő volt a legidősebb négy fiúból; a testvérei Hunter, Roger és Charles voltak. Az apja megbetegedett, amikor Floridában szolgált a háború alatt.
A második Szeminol háború 1840-ben. Anyja tíz évvel később, nem sokkal azután halt meg, hogy újraházasodott.