Madison Square Garden fékk nafnið sitt eftir staðsetningu fyrstu byggingarinnar með sama nafni, sem var staðsett á norðausturhorni Madison Avenue við 26. götu, á móti garðinum. Fyrsti Garðurinn var fyrrum járnbrautarstöð fyrir Park Avenue aðallínu, sem var breytt í úti sirkus á staðnum af P. T. Barnum árið 1871 og var endurnefndur "Madison Square Garden" árið 1879. (Lífstryggingahúsið í New York er nú í allri byggðarlóðinni.) Upprunalega Garðurinn var rifin árið 1889 og skipt út fyrir nýjan innandyraleikvang.
sem var hannað af Stanford White og opnað árið eftir. Í öðrum Garðinum var bronsstyttur rómversku dísarinnar Díönu á turni íþróttasvæðisins. Þegar það flutti í nýja byggingu á 50. götu og áttunda götu árið 1925 hélt það gamla nafni sínu. Madison Square Garden er nú staðsett á Eighth Avenue á milli 31. og 33. götu; það heldur þó enn nafni.