Andika mwendelezo wa aya hii - Grant alizaliwa New York City, New York, mwana wa Gabriel Grant, daktari na daktari wa upasuaji wa Vita vya wenyewe kwa wenyewe vya Amerika, na Caroline Manice. Mama ya Madison Grant alikuwa mzao wa Jessé de Forest, Huguenot wa Walloon ambaye mnamo 1623 aliandikisha kundi la kwanza la wakoloni kukaa New Netherland, eneo la Jamhuri ya Uholanzi kwenye Pwani ya Mashariki ya Amerika. Kwa upande wa baba yake, babu wa kwanza wa Madison Grant aliyekuwa Mmarekani alikuwa Richard Treat, mkuu wa Kanisa la Pitminster huko Uingereza, ambaye mnamo 1630 alikuwa mmoja wa wahamiaji wa kwanza wa Wapuriti huko New England. Mababu wa Grant kupitia mstari wa Treat ni pamoja na Robert Treat (gavana wa kikoloni wa New Jersey), Robert Treat Paine (mtia saini wa Azimio la Uhuru), Charles Grant (babu wa Madison Grant, ambaye alitumikia kama afisa katika Vita vya 1812), na Gabriel Grant (baba wa Madison), daktari mashuhuri na kamishna wa afya wa Newark, New Jersey. Dk Gabriel Grant alipewa medali ya heshima wakati akitumikia kama daktari wa upasuaji na 2 New Jersey Wajitolea katika Vita vya wenyewe kwa wenyewe. Wakati wa Vita vya Fair Oaks
, alihamisha waliojeruhiwa hadi mahali salama huku akiwa chini ya risasi kali. Grant aliishi New York City maisha yake yote.