Escribe unha continuación para este parágrafo - Davidson naceu no condado de Fairfax, Virginia. Era fillo de William B. Davidson, un oficial de artillería do exército dos Estados Unidos, e da ex Elizabeth Chapman Hunter. Era o maior de catro fillos; os seus irmáns eran Hunter, Roger e Charles. O seu pai morreu dunha enfermidade mentres servía en Florida durante a Segunda Guerra Seminole.
en 1840. A súa nai morreu dez anos despois, pouco despois de volver casar.