غرانت ولد في مدينة نيويورك، نيويورك، ابن غابرييل غرانت، طبيب وجراح الحرب الأهلية الأمريكية، وكارولين مانيس. كانت والدة ماديسون غرانت من نسل جيسي دي فوريست، وهو هوجنو والون الذي قام في عام 1623 بتجنيد أول مجموعة من المستعمرين لتستقر في هولندا الجديدة، إقليم الجمهورية الهولندية على الساحل الشرقي الأمريكي. من ناحية والده، كان سلف ماديسون غرانت الأمريكي الأول هو ريتشارد تريت، عميد كنيسة بيتمينستر في إنجلترا، والذي كان في عام 1630 من أوائل المستوطنين البيوريتان في نيو إنجلترا. جدران جرانت من خلال خط تريت يشملون روبرت تريت (حاكم استعماري نيو جيرسي) ، روبرت تريت باين (موقع إعلان الاستقلال) ، تشارلز جرانت (جدة ماديسون جرانت، الذي خدم كضابط في حرب 1812) ، وجابرييل جرانت (والد ماديسون) ، طبيب بارز ومفوض الصحة في نيوارك، نيو جيرسي. حصل الدكتور غابرييل غرانت على وسام الشرف بينما كان يعمل جراحًا مع متطوعي نيو جيرسي الثاني في الحرب الأهلية. خلال معركة فير اوكس
نقل الجرحى الى الامن بينما كان تحت اطلاق نار شديد. غرانت كان مقيم مدينة نيويورك طيلة حياته.