グラントはニューヨーク州ニューヨーク市で生まれ,内戦の医師で外科医のガブリエル・グラントとキャロライン・マニスの息子である. マディソン・グラントの母親は,1623年にアメリカ東海岸にあるオランダ共和国の領土であるニュー・ネーデルラントに定住する最初の入植者集団を招集したワロン・フーゲノットのジェシー・ド・フォレストの子孫であった. 父の側では,マディソン・グラントの最初のアメリカ人の祖先は,イギリスのピットミンスター教会の院長であったリチャード・トリートであり,彼は1630年にニューイングランドの最初のピューリタン入植者の1人であった. グラントの祖先は,ロバート・トリート (ニュージャージー州の植民地知事),ロバート・トリート・ペイン (独立宣言の署名者),チャールズ・グラント (マディソン・グラントの祖父で,1812年の戦争で将校を務めた),そしてガブリエル・グラント (マディソンの父),著名な医師でニュージャージー州ニューアークの保健委員. ガブリエル・グラント博士は 内戦中のニュージャージー州第2志願隊の 外科医として 勲章を授与されました その間,
フェア・オークスの戦いで 負傷者を安全な場所に移動させた グラントは生涯ニューヨークの住人だった.