István Kausz begon zijn moderne vijfkamp carrière als vertegenwoordiger van Vasas in 1949. Vanaf 1952 kwam hij uit voor Budapest Haladás en won drie jaar achter elkaar, 1952-54, het winterkampioenschap voor teams van de vijfkamp. In 1954 stapte hij over op het degen schermen, voor OSC. Tussen 1957-65 bereikte hij de top als lid van het Hongaarse schermteam. Hij werd wereldkampioen individueel (1962) en team (1959), en was ook een dubbele zilveren- en bronzen medaillewinnaar in het team evenement. Kausz was ook een winnaar van de Universiade in 1959.
Kausz was ook twee keer Olympiër, eerst in Rome, waar hij vierde werd in de ploegcompetitie, maar zijn grootste prestatie was in Tokio in 1964, waar hij een gouden medaille won in de ploegcompetitie. Hij behaalde zijn medische opleiding tijdens zijn actieve sportcarrière, en werd arts aan de Centrale Sportschool en vervolgens voor de Hongaarse zwemploeg. Als lid van de medische ploeg vertegenwoordigde hij de Hongaarse zwemploeg op verschillende Olympische Zomerspelen, van München in 1972 tot Londen 2012.