Dalam sejarahnya, stasiun ini dibangun bersamaan dengan pembangunan jalur kereta api Kudus–Mayong–Pecangaan. Hal ini bertujuan untuk mendukung pengiriman produk-produk mebel dan gula dari Jepara dengan layanan kereta api Samarang–Joana Stoomtram Maatschappij (SJS). SJS meresmikan jalurnya pada tanggal 6 September 1887. Selanjutnya, jalur Mayong–Pecangaan diresmikan pada tanggal 5 Mei 1895 dan terakhir, Mayong–Welahan pada tanggal 10 November 1900.[3]
Sepanjang operasinya, stasiun ini terus melayani pengangkutan mebel Jepara dan penumpang hingga ditutup tahun 1975,[4] karena kalah bersaing dengan mobil pribadi dan angkutan umum.
Berbeda dengan stasiun lainnya di jalur SJS, Stasiun Mayong terbuat dari kayu jati. Karena fisik bangunan yang sangat mudah rusak, maka bangunan ini sejak 2001 dialihfungsikan sebagai lobi hotel MesaStila Resort, Losari, Grabag, Magelang, dengan status terdaftar sebagai cagar budaya.[5] Stasiun ini sebenarnya tidak mempunyai ketinggian, tetapi setelah dipindah ke MesaStila Resort Magelang, ketinggian stasiun ditambahkan ke bangunan stasiunnya sehingga saat ini stasiun ini terletak pada ketinggian +687 m.[6]
