Mortimer spendeerde hoofdzakelijk zijn carrière bij clubs uit de Engelse regio West Midlands.[7] Hij begon te voetballen bij Coventry City, waar hij doorstroomde uit de jeugd. Van 1969 tot 1975 speelde Mortimer in het eerste elftal van de Sky Blues.[8] Vanaf 1975 speelde hij voor Aston Villa.[9] Hij zou tot en met 1985 in bijna 400 officiële wedstrijden het shirt van Aston Villa dragen. Hét moment van glorie was de winst van de Europacup I met Aston Villa – in 1982 – in de finale tegen Bayern München, dat over spelers beschikte als Klaus Augenthaler en Karl-Heinz Rummenigge. Samen met Gordon Cowans was hij de sleutelfiguur in het elftal van trainer Tony Barton.[10]
In 1981 werd de middenvelder Engels landskampioen met Aston Villa onder leiding van de legendarische trainer Ron Saunders. Hij speelde later voor Brighton & Hove Albion en kwam nog uit voor de aartsrivaal van Aston Villa: Birmingham City.[11] In 1987 zette Mortimer definitief een punt achter zijn professionele loopbaan.