כתוב המשך לפרק זה - דייווידסון נולד במחוז פיירפקס, וירג'יניה. הוא היה בנו של ויליאם דודסון, קצין ארטילריה בצבא ארצות הברית, ושל אליזבת צ'פמן האנטר. הוא היה הבכור מבין ארבעה בנים; אחיו היו האנטר, רוג'ר וצ'ארלס. אביו מת ממחלה בזמן ששרת בפלורידה במהלך מלחמת הסמינול השנייה.
בשנת 1840. אמו מתה עשר שנים מאוחר יותר, זמן קצר לאחר שהתחתנה שוב.