Kowaljows aktive Karriere erstreckte sich von 1971 bis 1999. Die größte Zeit spielte er dabei für den Verein SKA-Neftjanik Chabarowsk in seiner Heimatstadt Chabarowsk. Er bestritt 550 Meisterschaftsspiele und erzielte dabei 249 Tore. Die UdSSR-Meisterschaft konnte er dabei nie gewinnen, allerdings dreimal die Vizemeisterschaft und sechsmal den dritten Platz. 1988 gewann er den UdSSR-Pokal. 1990 bis 1993 spielte er in Schweden.