أكمل الجملة التالية: ولد غرانت في مدينة نيويورك، نيويورك، وهو ابن غابرييل غرانت، الطبيب والجراح في الحرب الأهلية الأمريكية، وكارولين مانيس. كان والدة ماديسون غرانت من نسل جيسي دي فوريست، وهو الهيغونوت الوالون الذي قام في عام 1623 بتجنيد أول مجموعة من المستعمرين لتستقر في هولندا الجديدة، وهي أرض الجمهورية الهولندية على الساحل الشرقي الأمريكي. من ناحية والده، كان أصل ماديسون غرانت الأمريكي هو ريتشارد تريت، عميد كنيسة بيتمينستر في إنجلترا، والذي كان في عام 1630 من أوائل المستوطنين البوريتان في نيو إنجلترا. من بين أسلاف جرانت من خلال خط تريت روبرت تريت (حاكم استعماري نيوجيرسي) ، روبرت تريت باين (موقع على إعلان الاستقلال) ، تشارلز جرانت (جده ماديسون جرانت، الذي خدم كضابط في حرب 1812) ، وجابرييل جرانت (والد ماديسون) ، طبيب بارز ومفوض الصحة في نيوارك، نيوجيرسي. تم منح الدكتور غابرييل غرانت وسام الشرف بينما كان يخدم كجراح مع متطوعي نيو جيرسي الثاني في الحرب الأهلية. خلال فترة
معركة فير أوكس، نقل الجرحى إلى الأمان بينما كان تحت نيران قوية. كان جرانت مقيم مدينة نيويورك طيلة حياته.