Sebelum menjabat sebagai Gubernur Sulawesi Tenggara, Ali Mazi berprofesi sebagai advokat dan pernah menjadi advokat/pengacara PT Indobuild untuk perpanjangan hak guna bangunan (HGB) Hotel Hilton di kawasan Senayan, Jakarta.[2]
Ali kecil mengecap pendidikan dasarnya di Sekolah Dasar Negeri (SDN) Pasarwajo, Buton dan menyelesaikan pendidikan dasarnya pada 1974. Ali lantas melanjutkan pendidikannya di Sekolah Menengah Pertama Negeri (SMPN) Pasarwajo dan lulus tahun 1977.
Kemudian ia pindah ke Baubau dan Ali Mazi melanjutkan ke Sekolah Menengah Atas Negeri (SMAN) 2 Baubau, Buton dan lulus pada 1981. Selepas SMA, dia merantau ke Yogyakarta untuk melanjutkan pendidikan tinggi di Jurusan Ilmu Hukum Universitas Proklamasi 45. Ia menyandang gelar sarjana hukum pada 1990 setelah menyelesaikan skripsinya yang berjudul Peranan Hipotik sebagai Lembaga Jaminan Kredit di Daerah Istimewa Yogyakarta.
Jiwa kepemimpinan Ali berkembang dan terasah selama tinggal di Yogyakarta. Ia pernah menjabat Koordinator Bidang Kemahasiswaan Senat Mahasiswa Fakultas Hukum Universitas Proklamasi 45, kemudian menjabat Ketua Umum Senat Mahasiswa Fakultas Hukum Universitas Proklamasi 45, dan Wakil Sekretaris Himpunan Mahasiswa Islam (HMI) Universitas Proklamasi 45.