Grant lahir di New York City, New York, anak dari Gabriel Grant, seorang dokter dan ahli bedah Perang Saudara Amerika, dan Caroline Manice. Ibu Madison Grant adalah keturunan dari Jessé de Forest, Huguenot Walloon yang pada tahun 1623 merekrut kelompok pertama penjajah untuk menetap di New Netherland, wilayah Republik Belanda di Pantai Timur Amerika. Di sisi ayahnya, leluhur Amerika pertama Madison Grant adalah Richard Treat, dekan Gereja Pitminster di Inggris, yang pada tahun 1630 adalah salah satu pemukim Puritan pertama di New England. Leluhur Grant melalui garis Treat termasuk Robert Treat (gubernur kolonial New Jersey), Robert Treat Paine (penandatangan Deklarasi Kemerdekaan), Charles Grant (kakek Madison Grant, yang bertugas sebagai perwira dalam Perang 1812), dan Gabriel Grant (ayah Madison), seorang dokter terkemuka dan komisaris kesehatan Newark, New Jersey. Dr. Gabriel Grant dianugerahi Medal of Honor saat bertugas sebagai ahli bedah dengan 2 New Jersey Volunteers dalam Perang Saudara. Selama Pertempuran Fair Oaks
, ia memindahkan yang terluka ke tempat yang aman saat berada di bawah tembakan berat. Grant adalah penduduk seumur hidup di New York City.