Grant naceu na cidade de Nova York, New York, fillo de Gabriel Grant, un médico e cirurxián da Guerra Civil Americana, e Caroline Manice. A nai de Madison Grant era descendente de Jessé de Forest, o hugonote valón que en 1623 recrutou o primeiro grupo de colonos para establecerse en Nova Holanda, o territorio da República Holandesa na costa leste americana. Do lado do seu pai, o primeiro antepasado americano de Madison Grant foi Richard Treat, decano da Igrexa de Pitminster en Inglaterra, que en 1630 foi un dos primeiros colonos puritanos de Nova Inglaterra. Os antepasados de Grant a través da liña de Treat inclúen a Robert Treat (un gobernador colonial de Nova Jersey), Robert Treat Paine (un asinante da Declaración de Independencia), Charles Grant (avó de Madison Grant, que serviu como oficial na Guerra de 1812), e Gabriel Grant (pai de Madison), un prominente médico e o comisionado de saúde de Newark, Nova Jersey. O Dr. Gabriel Grant foi galardoado coa Medalla de Honra mentres servía como cirurxián nos Voluntarios de Nova Jersey na Guerra Civil. Durante a batalla de Fair Oaks
Mudou os feridos a un lugar seguro mentres estaba baixo un intenso lume. Grant foi un residente permanente da cidade de Nova York.