Ján Geleta fing mit dem Fußballspielen in seiner Heimatstadt bei Iskra Partizánske an. 1962 wurde der Mittelfeldspieler von Dukla Prag verpflichtet, für das er bis 1976 spielte. Mit Dukla wurde Geleta dreimal tschechoslowakischer Meister und dreimal Pokalsieger. Er bestritt 283 Erstligaspiele, in denen er 27 Treffer erzielte. 1967 wurde er zum Tschechoslowakischen Fußballer des Jahres gewählt.
Von 1977 bis 1979 spielte er für Motorlet Prag und beendete anschließend seine aktive Laufbahn. Später war er als Jugendtrainer bei seinem ehemaligen Klub Dukla Prag tätig.