Madison Square Garden mengambil namanya dari lokasi bangunan pertama dengan nama yang sama di sudut timur laut Madison Square di 26th Street dan Madison Avenue. "Garden" pertama dulunya adalah stasiun kereta yang diubah menjadi arena sirkus terbuka oleh P. T. Barnum pada tahun 1871 dan berganti nama menjadi "Madison Square Garden" pada 1879 (New York Life Insurance Building sekarang menempati seluruh blok kota tersebut). "Garden" yang asli diruntuhkan pada 1889 dan digantikan oleh arena dalam ruangan baru yang dirancang Stanford White dan dibuka pada tahun berikutnya. "Garden" kedua memiliki patung perunggu dewi Romawi Diana di menara arena olahraga. Ketika dipindahkan ke bangunan baru di 50th Street dan Eighth Avenue tahun 1925, bangunan ini masih memakai nama lama (Madison Square Garden sekarang terletak di Eighth Avenue antara 31st Street dan 33rd Street).
Madison Avenue memiliki lalu lintas satu arah ke hulu (utara) dari 23rd Street ke 135th Street. Perubahan dari lalu lintas dua arah menjadi searah dilaksanakan pada 14 Januari 1966, sementara pada waktu yang sama Fifth Avenue diubah menjadi searah ke hilir (selatan).[1]
Perbelanjaan
Antara 57th Street dan 85th Street, Madison Avenue dikenal sebagai "jalan mode". Di daerah ini terdapat banyak butik desainer mode, toko perhiasan, dan salon rambut kelas atas.