Grant fæddist í New York, New York, sonur Gabriel Grant, læknir og læknir í bandaríska borgarastyrjöldinni, og Caroline Manice. Móðir Madison Grant var afkomandi Jessé de Forest, Huguenots frá Vallóníu, sem árið 1623 réð fyrsta hóp nýlendumanna til að setjast að í Nýja-Holllandi, yfirráðasvæði Hollensku lýðveldisins við austurströnd Bandaríkjanna. Fyrsti forfeður Madison Grant í Bandaríkjunum var Richard Treat, dekan Pitminster kirkjunnar í Englandi, sem árið 1630 var einn af fyrstu purítansku landnámsmönnum Nýja-Englands. Forfeður Grant í gegnum línuna hans eru Robert Treat (frumvarpsstjóri New Jersey), Robert Treat Paine (undirritaður sjálfstæðisyfirlýsingarinnar), Charles Grant (afa Madison Grant, sem þjónaði sem yfirmaður í stríði 1812), og Gabriel Grant (faðir Madison), frægur læknir og heilbrigðisfulltrúi Newark, New Jersey. Dr. Gabriel Grant hlaut heiđursmerki ūegar hann starfađi sem skurđlæknir hjá 2. New Jersey sjálfboðaliđunum í borgarastyrjöldinni. Á bardaga við Fair Oaks
Hann flutti særđana í öryggi á međan hann var undir mikilli skotárás. Grant var ævilangt búsettur í New York.