اكتب استمرار لهذه الفقرة. دايفدسون ولد في مقاطعة فيرفاكس، فيرجينيا. كان ابن ويليام بي ديفيدسون، ضابط مدفعية في جيش الولايات المتحدة، والسابقة إليزابيث تشابمان هانتر. كان الابن الاكبر من اربعة ابناء. كان اخوته هنتر وروجر وتشارلز. مات والده من مرض بينما كان يخدم في فلوريدا خلال حرب سيمينول الثانية.
في عام 1840. ماتت أمه بعد عشر سنوات، بعد وقت قصير من زواجها.