Provinsi ini dibentuk 1 Januari 1999 dari bekas Provonsi Kraków, Tarnów, Nowy Sącz dan bagian Bielsko-Biała, Katowice, Kielce dan Krosno, hasil dari reformasi pemerintah daerah Polandia yang diadopsi tahun 1998. Nama provinsi mengingatkan pada nama tradisional sebuah wilayah historis Polandia, Polandia Kecil, atau dalam bahasa Polandia: Małopolska. Namun, Provinsi Polandia Kecil saat ini, hanya mencakup bagian kecil dari wilayah Małopolska kuno yang, bersama dengan Polandia Besar (Wielkopolska) dan Silesia (Śląsk), merupakan negara bangsa Polandia awal abad pertengahan. Historis Polandia Kecil jauh lebih besar daripada provinsi saat ini. Wilayah itu membentang jauh ke utara, hingga Radom, dan Siedlce, juga mencakup kota-kota seperti, Stalowa Wola, Lublin, Kielce, Częstochowa, dan Sosnowiec.