Completa la següent frase: Grant va néixer a la ciutat de Nova York, Nova York, fill de Gabriel Grant, metge i cirurgià de la Guerra Civil Americana, i Caroline Manice. La mare de Madison Grant era descendent de Jessé de Forest, l'huguenot való que el 1623 va reclutar el primer grup de colons per assentar-se a Nova Holanda, el territori de la República Holandesa a la costa est americana. Del costat del seu pare, el primer avantpassat nord-americà de Madison Grant va ser Richard Treat, decà de l'església de Pitminster a Anglaterra, que el 1630 va ser un dels primers colons puritans de Nova Anglaterra. Els avantpassats de Grant a través de la línia de Treat inclouen Robert Treat (un governador colonial de Nova Jersey), Robert Treat Paine (un signatari de la Declaració d'Independència), Charles Grant (l'avi de Madison Grant, que va servir com a oficial en la Guerra de 1812), i Gabriel Grant (pare de Madison), un destacat metge i el comissari de salut de Newark, Nova Jersey. El Dr. Gabriel Grant va ser guardonat amb la Medalla d'Honor mentre servia com a cirurgià amb els Voluntaris de Nova Jersey en la Guerra Civil. Durant el
Batalla de Fair Oaks, va traslladar els ferits a un lloc segur mentre estaven sota foc pesat. Grant va ser resident de tota la vida de la ciutat de Nova York.