غرانت اتولد في مدينة نيويورك، نيويورك، وهو ابن غابرييل غرانت، الطبيب والجراح في الحرب الأهلية الأمريكية، وكارولين مانيس. كانت والدة ماديسون غرانت من نسل جيسي دي فوريست ، وهو هوغنوت والون الذي قام في عام 1623 بتجنيد أول مجموعة من المستعمرين لتستقر في هولندا الجديدة ، وهي أراضي الجمهورية الهولندية على الساحل الشرقي الأمريكي. من ناحية والده ، كان سلف ماديسون غرانت الأمريكي الأول هو ريتشارد تريت ، عميد كنيسة بيتمينستر في إنجلترا ، والذي كان في عام 1630 من أوائل المستوطنين البيوريتان في نيو إنجلترا. سلف جرانت من خلال خط تريت يشملون روبرت تريت (حاكم استعماري نيو جيرسي) ، روبرت تريت باين (موقع إعلان الاستقلال) ، تشارلز جرانت (جده ماديسون جرانت ، الذي عمل كضابط في حرب 1812) ، وجابرييل جرانت (والد ماديسون) ، طبيب بارز ومفوض الصحة في نيوارك ، نيو جيرسي. حصل الدكتور جابرييل غرانت على وسام الشرف بينما كان يعمل جراحًا مع متطوعي نيو جيرسي الثاني في الحرب الأهلية. خلال معركة فير اوكس
نقل الجرحى لجهة آمنة و هو تحت نيران قوية. كان جرانت مقيم مدينة نيويورك طوال حياته.