Escriba una continuación para este párrafo - Davidson nació en el condado de Fairfax, Virginia. Era hijo de William B. Davidson, un oficial de artillería en el Ejército de los Estados Unidos, y la ex Elizabeth Chapman Hunter. Era el mayor de cuatro hijos; sus hermanos eran Hunter, Roger y Charles. Su padre murió de una enfermedad mientras servía en Florida durante la Segunda Guerra Seminole.
en el año 1840. Su madre murió diez años después, poco después de volver a casarse.