En tant que défenseur, János Gyarmati fut international hongrois (1937-1938) à trois reprises pour aucun but. Sa première sélection fut honorée contre la Suisse, le , match se soldant par une victoire (2-0). Ses deux autres sélections furent contre le Portugal (0-4) et contre le Luxembourg. Dans les années 1930, il joua dans deux clubs hongrois : Ferencváros TC et Szegedi FC. On ne connait pas son palmarès en tant que joueur, ni les dates de ses passages dans ces clubs.
Il devint entraîneur, en RDA. Il commença par entraîner le club du SG Dynamo Dresde, terminant troisième du championnat en 1954. Ensuite, il dirigea le SC DHfK Leipzig.
Il dirigea ensuite le club est-allemand du BFC Dynamo Berlin, avec lequel, il termina troisième du championnat en 1962 et fut finaliste cette même année de la Coupe de RDA.