Hij werd geboren in Barasjevo en groeide op in Toljatti. Hij begon met turnen toen hij vijf jaar oud was en haalde zijn eerste succes in 1994, toen hij de individuele meerkamp won tijdens de Goodwill Games in Sint-Petersburg.
Nemov werd een internationale ster tijdens de Olympische Zomerspelen 1996 in Atlanta. Hij won er zes medailles: goud met de landenploeg en op sprong, zilver in de individuele meerkamp en brons op de vloer, aan het rek en op het paard. Na deze Spelen werd hij geplaagd door blessures en een gebrek aan inspiratie. Vier jaar lang won hij bijna geen enkele titel.
Groot was dan ook de verrassing in de internationale turnwereld, toen hij bij de Spelen in Sydney de beste prestatie van zijn leven leverde. Hij won opnieuw zes medailles. Hij werd olympisch kampioen in de individuele meerkamp en aan de rekstok. Ook won hij zilver op vloer en brons met de landenploeg, op het paard en de brug.
Nemov was inmiddels een van de meest populaire turners ter wereld geworden. Door zijn uiterlijk en uitstraling kreeg hij de bijnaam "Sexy Aleksej". Tijdens galavoorstellingen liet hij zich, tot enthousiasme van zijn fans, graag zien met ontbloot bovenlijf.
Tijdens de Olympische Zomerspelen 2004 in Athene was Nemov het middelpunt van een van de grootste schandalen in de geschiedenis van de turnsport. Zijn oefening aan het rek viel op door de hoge moeilijkheidsgraad en goede uitvoering, op een klein stapje bij de landing na. Toch gaf de jury hem slechts 9.725, waarmee hij op een derde plaats kwam, met nog een aantal deelnemers te gaan. Het publiek liet luid en langdurig van zijn afkeuring blijken, waardoor de wedstrijd een kwartier stil kwam te liggen. De jury voerde onder de druk van het publiek druk overleg en verhoogde Nemovs score uiteindelijk tot 9.762, maar daarmee stond hij nog steeds derde. Opnieuw protesteerden de (vooral Griekse) toeschouwers en pas na ingrijpen van Nemov zelf kon de wedstrijd vervolgd worden. Deze werd uiteindelijk gewonnen door de ItaliaanIgor Cassina. De Rus eindigde op de vijfde plaats.
Deze controverse leidde uiteindelijk tot een ingrijpende verandering van de jurering bij het turnen, die in 2006 werd ingevoerd. Nemov zelf beëindigde kort na de Spelen zijn turncarrière.