Parí gbólóhùn tó wà nísàlẹ̀ yìí: Ìlú New York, ní ìpínlẹ̀ New York ni wọ́n bí Grant sí, ọmọ Gabriel Grant, oníṣègùn àti oníṣẹ́ abẹ nígbà Ogun Abẹ́lé ní Orílẹ̀-èdè Amẹ́ríkà àti Caroline Manice. Ìyá Madison Grant jẹ́ àtọmọdọ́mọ Jessé de Forest, Huguenot Walloon tí ó ní 1623 gba ẹgbẹ́ àkọ́kọ́ ti àwọn aládùúgbò láti gbé ní New Netherland, ìpínlẹ̀ Orílẹ̀-èdè Olómìnira Dutch ní Ìlà Oòrùn Amẹ́ríkà. Ní ìhà bàbá rẹ̀, bàbá àgbà tí Madison Grant kọ́kọ́ bí ní Amẹ́ríkà ni Richard Treat, tó jẹ́ díákìnà ìjọ Pitminster Church ní England, tó jẹ́ ọ̀kan lára àwọn ọmọ ìjọ Puritan tó kọ́kọ́ wá sí New England lọ́dún 1630. Àwọn baba ńlá Grant nípasẹ̀ ìlà Treat ni Robert Treat (gómìnà ilẹ̀ New Jersey), Robert Treat Paine (ẹni tó fọwọ́ sí ìwé Ìpolongo Òmìnira), Charles Grant (ọ̀gá àgbà Madison Grant, tí ó sìn gẹ́gẹ́ bí òṣìṣẹ́ nínú Ogun 1812), àti Gabriel Grant (baba Madison), oníṣègùn tó gbajúmọ̀ àti kọmíṣọ́nnà ètò ìlera ní Newark, New Jersey. Dókítà Gabriel Grant gba àmì ẹ̀yẹ Medal of Honor nígbà tí ó ń ṣiṣẹ́ gẹ́gẹ́ bí oníṣẹ́ abẹ fún àwọn Olùfẹ́tọ̀ọ́ New Jersey kejì nínú Ogun Abẹ́lé. Nígbà tí
Ogun Fair Oaks, ó kó àwọn tó fara pa lọ sí ibi ààbò nígbà tí wọ́n ń yìnbọn lù wọ́n. Ìlú New York City ni Grant ti ń gbé látìgbà tó ti wà láàyè.