השלים את המשפט הבא: דייווידסון נולד במחוז פיירפקס, וירג'יניה. הוא היה בנו של ויליאם דודסון, קצין ארטילריה בצבא ארצות הברית, ושל אליזבת צ'פמן האנטר. הוא היה הבכור מבין ארבעה בנים; אחיו היו האנטר, רוג'ר וצ'ארלס. אביו מת ממחלה בזמן ששרת בפלורידה במהלך
מלחמת הסמינול השנייה ב-1840. אמו מתה עשר שנים מאוחר יותר, זמן קצר לאחר שהתחתנה שוב.