Madison Square Garden sai nimensä ensimmäisen saman nimisen rakennuksen sijainnista, joka sijaitsee Madison Avenuen koillisosassa 26. kadulla puiston vastapäätä. Ensimmäinen puutarha oli entinen rautatieasema Park Avenuen päälinjalle, joka muutettiin P. T. Barnumin avomaiseksi sirkuspaikaksi vuonna 1871 ja nimettiin uudelleen Madison Square Gardeniksi vuonna 1879. (New Yorkin henkivakuutusrakennus sijaitsee nyt koko tuossa korttelissa.) Alkuperäinen puutarha purettiin vuonna 1889 ja sen tilalle rakennettiin uusi sisäareena
Se avattiin seuraavana vuonna. Toisessa puutarhassa oli roomalaisen Diana-jumalan pronssipatsoona urheiluarenan tornissa. Kun se muutti uuteen rakennukseen 50. kadulla ja 8. kadulla vuonna 1925, se piti vanhan nimensä. Madison Square Garden sijaitsee nyt Eighth Avenuella 31. ja 33. kadun välissä; se säilyttää kuitenkin edelleen nimensä.