أكمل الجملة التالية: ولد جرانت في مدينة نيويورك، نيويورك، وهو ابن غابرييل جرانت، طبيب وجراح الحرب الأهلية الأمريكية، وكارولين مانيس. كانت والدة ماديسون غرانت من نسل جيسي دي فوريست ، وهو هوغنوت والون الذي قام في عام 1623 بتجنيد أول مجموعة من المستعمرين لتستقر في هولندا الجديدة ، وهي أراضي الجمهورية الهولندية على الساحل الشرقي الأمريكي. من ناحية والده ، كان سلف ماديسون غرانت الأمريكي الأول هو ريتشارد تريت ، عميد كنيسة بيتمينستر في إنجلترا ، والذي كان في عام 1630 من أوائل المستوطنين البيوريتان في نيو إنجلترا. سلف جرانت من خلال خط تريت يشملون روبرت تريت (حاكم استعماري نيو جيرسي) ، روبرت تريت باين (موقع إعلان الاستقلال) ، تشارلز جرانت (جده ماديسون جرانت ، الذي عمل كضابط في حرب 1812) ، وجابرييل جرانت (والد ماديسون) ، طبيب بارز ومفوض الصحة في نيوارك ، نيو جيرسي. حصل الدكتور جابرييل غرانت على وسام الشرف بينما كان يعمل جراحًا مع متطوعي نيو جيرسي الثاني في الحرب الأهلية. خلال السنة
معركة فير أوكس، نقل الجرحى إلى الأمان بينما كانوا تحت نيران شديدة. كان جرانت مقيم مدينة نيويورك طوال حياته.