Toen later dat jaar Daniel Wilson, de schoonzoon van presidentJules Grévy, werd ontmaskerd als handelaar in ridderorden (o.a. de Legioen van Eer), diende Rouvier in november 1887 zijn ontslag in als premier om zo het aftreden van Grévy - die ervan werd verdacht weet te hebben van de zaak - te forceren. Op 2 december trad Grévy af. Kort na het aantreden van de nieuwe president, Marie François Sadi Carnot, werd Rouvier vervangen door Pierre Tirard.
Op 7 juni 1902 werd hij opnieuw minister van Financiën, nu in het centrumlinkse kabinet-Combes. In 1903 werd hij voor het departement Alpes-Maritimes in de Senaat gekozen.
Premier tijdens de Eerste Marokkaanse Crisis
Op 24 januari 1905, bijna twintig jaar na zijn eerste premierschap, werd Rouvier opnieuw premier. Hij behield daarnaast overigens de ministerspost van Financiën tot 17 juni 1905. Dit tweede kabinet-Rouvier was net als haar voorgangers een kabinet van het Bloc des Gauches ("Linkse Blok").
Tijdens de regeringsverklaring aan het Franse parlement zei Rouvier te streven naar de invoering van een ouderdomspensioen en een inkomstenbelasting. Zijn tweede premierschap werd echter geheel in beslag genomen door de Eerste Marokkaanse Crisis. Tijdens het kabinet-Combes had Théophile Delcassé, de toenmalige minister van Buitenlandse Zaken geheime besprekingen gevoerd met zijn Spaanse collega over de verdeling van Marokko in twee protectoraten. Het uiterste noorden zou aan Spanje toekomen, terwijl het overige landsdeel Franse gebied zou worden. Delcassé had ook het Verenigd Koninkrijk geïnformeerd over de Spaans-Franse plannen betreffende Marokko en dit land had geen bezwaren tegen de plannen. Toen de Duitse regering hiervan hoorde, ontstak zij in woede. Duitsland, een relatief kleine koloniale mogendheid bleek ook interesse te hebben in het Noord-Afrikaanse land. De Duitse keizer Wilhelm II wierp zich op als beschermer van het onafhankelijke Marokko. In maart 1905 bezocht de keizer Tanger en voerde besprekingen met de sultan. Rouvier die een ernstig conflict met Duitsland vreesde, ontsloeg Delcassé in juni 1905 en nam zelf de ministerspost van Buitenlandse Zaken op zich. Onderhandelingen met Duitsland in juli en september 1905 leidden uiteindelijk tot de Conferentie van Algericas, die in april 1906 plaatsvond en die de crisis beëindigde.
Rouvier moest in maart 1906 aftreden omdat er ontevredenheid heerste over de uitvoering van de wetgeving betreffende de scheiding van kerk en staat die in 1905 onder Émile Combes tot stand was gekomen.
Trivia
In 1876 werd hij aangeklaagd omdat hij zich onzedelijk zou hebben gedragen. Hij werd echter door de rechtbank vrijgesproken. Hij vond de vrijspraak echter onvoldoende.