Di bidang olahraga, Mattalatta sudah menunjukkan kehebatannya sejak 1932, ketika ia menyisihkan atlet-atlet keturunan Belanda dalam renang gaya dada memperebutkan piala Ratu Wilhelmina der Nederlanden van Oranje Nassau di Makassar. Pasa usia 15 tahun, Mattalatta menjadi petinju yang mengawali prestasi pada kelas bulu (55 kg) dengan meng-KO petinju Batavia, Kid Usman, kelas ringan (60 kg). Ia juga menjadi pelatih dibeberapa klub atlet karena kemahirannya dalam olahraga-olahraga tersebut.
Ketika bertugas sebagai Komandan Batalyon di Pare-Pare, Mayor Andi Mattalatta mengharuskan semua anak buahnya untuk pandai berenang. Hal ini disebabkan karena dia mempunyai pengalaman pahit ketika memimpin Gerakan Operasi Militer (GOM) di Pulau Haruku, Maluku Selatan ketika menumpas gerombolan Republik Maluku Selatan (RMS). Prajurit yang tergabung dalam Batalyon 705 yang diberangkatkan 18 Desember 1950 banyak yang gugur bukan karena tertembak musuh, melainkan tenggelam ketika terjadi pendaratan pantai.
Pada tahun 1952, Andi Mattalatta memprakarsai pembangunan Stadion Mattoanging, Makassar yang dilengkapi gedung olahraga, kolam renang, serta fasilitas olahraga lainnya di Makassar. Dia juga menjadi tokoh penyelenggara Pekan Olahraga Nasional (PON) IV tahun 1957 di Kota Makassar.
Pada tahun 1954, ia mendirikan Persatuan Olahraga Perahu Motor dan Ski Air (POPSA) di Makassar dan membangun rumah klub di depan Fort Rotterdam, tepi pantai Kota Makassar.