Grant s-a născut în New York, New York, fiul lui Gabriel Grant, un medic și chirurg din Războiul Civil American, și al lui Caroline Manice. Mama lui Madison Grant era descendentă a lui Jessé de Forest, un hugenot valon care, în 1623, a recrutat prima bandă de coloniști care s-au stabilit în Noua Olanda, teritoriul Republicii Olandeze de pe coasta de est a Americii. Din partea tatălui său, primul strămoș american al lui Madison Grant a fost Richard Treat, decan al Bisericii Pitminster din Anglia, care în 1630 a fost unul dintre primii coloniști puritani din New England. Strămoșii lui Grant prin linia lui Treat includ Robert Treat (un guvernator colonial al New Jersey-ului), Robert Treat Paine (un semnatar al Declarației de Independență), Charles Grant (bunicul lui Madison Grant, care a servit ca ofițer în Războiul din 1812), și Gabriel Grant (tatăl lui Madison), un medic proeminent și comisarul pentru sănătate din Newark, New Jersey. Dr. Gabriel Grant a fost decorat cu Medalia de Onoare în timp ce slujea ca chirurg cu 2nd New Jersey Voluntari în Războiul Civil. În timpul bătăliei de la Fair Oaks
, el a mutat răniți în siguranță în timp ce sub foc puternic. Grant a locuit toată viața în New York.