SMA Muhammadiyah 2 Yogyakarta pada awalnya didirikan di Jalan Kauman No. 44 Gondomanan pada tanggal 2 Oktober1950. Tujuan dari didirikannya sekolah ini adalah sebagai akomodasi bagi peserta didik yang tidak dapat tertampung lagi di SMA Muhammadiyah 1 Yogyakarta. Antara tahun 1951 sampai dengan tahun 1976, sekolah ini telah beberapa kali berpindah alamat. Terhitung sejak tanggal 8 Januari1976, sekolah ini menetap di Jalan Kapas No. 7 Umbulharjo hingga saat ini.[3]
Kampus
Gedung
Pemandangan lapangan utama
Didirikan di atas tanah seluas 6.885 m2,[4] sekolah ini terdiri dari empat gedung yang masing-masing diberi nama dengan nama Ketua Umum PP Muhammadiyah atau ilmuwanIslam. Terdapat Unit Arrozi di sebelah utara, Unit KH Hisyam di sebelah barat, Unit KH Ahmad Dahlan di sebelah timur, dan Unit Ibnu Sina di sebelah selatan. Keempat gedung tersebut mengelilingi lapangan utama yang terdapat di tengah-tengah kampus. Lapangan tersebut dapat dipergunakan sebagai lapangan upacara bendera, olahraga, ataupun kegiatan-kegiatan lainnya. Di luar area kampus—tepatnya di seberang tenggara kampus—terdapat asrama putri bernama Asrama Putri Khadijah yang dikelola oleh pihak sekolah.
Terdapat Pimpinan Ranting Ikatan Pelajar Muhammadiyah (PR IPM) SMA Muhammadiyah 2 Yogyakarta yang berperan sebagai organisasi siswa. Pimpinan ranting ini dipimpin dan diarahkan oleh Badan Pimpinan Harian (BPH) serta diketuai oleh seorang ketua umum. Pimpinan ranting ini terbagi menjadi enam bidang.
