Il a été repêché par les Rangers de New York lors du repêchage d'entrée dans la LNH 1991, à la 15e position du premier tour. Il est le premier joueur russe à avoir été repêché au premier tour.

Il fut un joueur clé de l'organisation des Rangers, notamment lors des séries éliminatoires de 1994 alors qu'il les aida à remporter la Coupe Stanley. Il porta également les couleurs des Penguins de Pittsburgh et celles de l'équipe nationale russe.

En 2000-2001, Kovalev connait sa meilleure saison en carrière avec 95 points en 79 rencontres. Dans l'uniforme des Penguins de Pittsburgh, il compose, avec Robert Lang et Martin Straka, l'un des meilleurs trios de la Ligue. Il patine de plus aux côtés de Jaromir Jagr et de Mario Lemieux.

Le 20 décembre 2005, Kovalev marque son 300e but dans la LNH, et récolte son 700e point. Ce soir là, il dit: « L'énergie et les sensations que l'on ressent dans cette aréna et dans cette ville expliquent pourquoi j'ai décidé de revenir à Montréal. Ils m'ont tellement supporté depuis mon arrivée, je ne peux dire autre chose que la foule est incroyable. »

Le 26 octobre 2007, Kovalev joue son 1000e match dans la LNH, et récolte son 800e point à l'aide d'un lancer sur réception dans la partie supérieure du filet de Cam Ward, le gardien des Hurricanes de la Caroline.

Le 30 décembre 2007, l'Artiste porte le « C » de capitaine du Canadien de Montréal par intérim, car Saku Koivu ne prend pas part au match contre les Rangers de New York en raison d'une blessure.

Le 3 janvier 2008, Kovalev marque son 350e but dans la LNH dans un match opposant le Canadien de Montréal au Lightning de Tampa Bay.

Le 6 mars 2008, Kovalev obtient sa 500e mention d'assistance dans la LNH dans un match opposant le Canadien de Montréal aux Coyotes de Phoenix dans une victoire du Tricolore de 4 à 2. Il récoltera deux autres points (2 passes) dans ce match.

Le 17 mars 2008, Kovalev lance un coffret de deux DVD « Mes trucs et méthodes d'entraînement ». Le premier DVD aborde la technique sur la glace, le deuxième retrace la vie de Kovy hors de la glace. Le film intitulé « Mr KOVI » a été tourné en Russie et à Montréal. L'ensemble des profits iront aux enfants malades.

Le 3 avril 2008, l'Artiste porte le « C » de capitaine du Canadien de Montréal par intérim, car Saku Koivu ne joue pas contre les Sabres de Buffalo à cause d'une blessure au pied et pendant ce match. À 19 minutes et 18 secondes de la troisième période, il écope d'une pénalité de 2 minutes pour une charge envers Paul Gaustad et quitte la glace. Ne voulant partir de la rencontre, il donne son bâton à un partisan puis attend que le match se termine pour féliciter ses coéquipiers sur la glace. Il reporte le « C » durant la majeure partie de la série contre les Bruins de Boston, série au cours de laquelle il marque un but, après que le défenseur Zdeno Chara lui ait fait perdre son casque protecteur, le long de la bande, le 17 avril 2008.

Il termine la saison avec une production de 35 buts et 49 passes pour un total de 84 points et un total de 11 points lors des séries éliminatoires. Sa deuxième meilleure saison dans la LNH qui permettra au Canadien de terminer l'année au premier rang de la Conférence de l'Est.

En septembre 2008, il reçoit le trophée Jean-Béliveau, trophée remis à chaque année au joueur du Canadien s'étant le plus démarqué par son engagement communautaire.

Lors du deuxième match de la saison 2008-2009, Kovalev marque un but et son 200e point sous les couleurs des Canadiens contre les Maple Leafs de Toronto au cours d'une victoire de 6 à 1. Le 18 décembre, dans une partie contre les Flyers de Philadelphie, il marque un but qui porte son total à 900 points en carrière dans la LNH.

Lors des blessures de Saku Koivu, il agit comme Capitaine du Canadien.

Retour a l'intro