Dous lugares chamados Madison Square Garden estaban situados ao nordeste da praza, o xardín orixinal de 1879 a 1890, e o segundo xardín
de 1890 a 1925. O primeiro, arrendado a P. T. Barnum, non tiña teito e era incómodo de usar durante o mal tempo, polo que foi demolido despois de 11 anos. O segundo foi deseñado polo arquitecto Stanford White. O novo edificio foi construído por un sindicato que incluía a J. P. Morgan, Andrew Carnegie, P. T. Barnum, Darius Mills, James Stillman e W. W. Astor. White lles deu unha estrutura de Beaux-Arts cun toque morisco, incluíndo unha torre semellante a un minarete inspirada en Giralda, o campanario da Catedral de Sevilla <unk> de 32 pisos <unk> o segundo edificio máis alto da cidade na época <unk> dominando o Madison Square Park. Foi construído en 1500, e o salón principal, que era o máis grande do mundo, medido en 1500, con capacidade permanente para 8.000 persoas e espazo para miles máis. Tiña un teatro de 1.200 prazas, unha sala de concertos con capacidade para 1.500, o restaurante máis grande da cidade e un cabaré no xardín do tellado. O edificio custou tres millóns de dólares. Madison Square Garden II non tivo éxito como o primeiro Garden, e a New York Life Insurance Company, que tiña a hipoteca sobre el, decidiu derrubalo en 1925 para dar paso a un novo edificio da sede, que se convertería no marco do New York Life Building deseñado por Cass Gilbert.