Koko 1900-luvun ajan kaupungissa on ollut useita historiallisia urheilukeskuksia: alkuperäinen Yankee-stadion, New York Yankeesin kotipaikka 1923-2008 ennen kuin joukkue muutti uuteen stadioninsa vuonna 2009; Ebbets Field, Brooklyn Dodgersin kotipaikka 1913-1957 ja joka purettiin vuonna 1960; ja Polo Grounds Pohjois-Harlemissa, joka oli Major League Baseballin New York Giantsin kotipaikka 1911-1957 (ja New York Metsin ensimmäinen kotipaikka) ennen kuin se purettiin vuonna 1964. Mets, joka pelasi aiemmin Shea Stadiumilla, muutti uudelle Citi Fieldille vuonna 2009. Nykyinen Madison Square Garden, joka sijaitsee Pennsylvania Stationin päällä Manhattanin keskikaupungissa, on itse asiassa "neljäs" erillinen rakennus, joka käyttää tätä nimeä; kaksi ensimmäistä
Kolmas oli 50. kadun ja 8. kadun kulmassa.