Il arrive à Grenoble en 1855, et l'année suivante, le poste de directeur de l'école de sculpture architecturale de Grenoble étant vacant, obtient cette place et la conservera 41 ans[2]. En 1861, il épouse Louise Charrut (1832-1914). De 1867 à 1869, il sculpte les bustes de la préfecture de l'Isère et les statues de L'Agriculture et de L'Industrie à la Chambre de commerce et d'industrie du boulevard Gambetta à Grenoble. En 1870, il réalise l'aigle monumental de l'immeuble du Dauphiné libéré dans l'avenue Alsace-Lorraine à Grenoble, mais ses relations avec la municipalité deviennent tendues en raison du refus de lui passer commande d'une statue équestre de Napoléon Ier destinée à la place d'Armes.
Charles Irvoy est enterré au cimetière Saint-Roch de Grenoble, dans lequel on retrouve de nombreuses tombes ornées de ses œuvres, comme le gisant de l'abbé Jean Gerin, le médaillon d'Albin Crépu, les cariatides ornant la sépulture du maire Joseph Marie de Barral, ou le médaillon du général de Miribel[3],[4].
La Sentinelle gauloise, 1878, statue en plâtre bronzé, récompensée au Salon de 1878[5]. Le bronze, offert à la ville et inauguré en 1905 sur les bords de l'Isère, disparaît lors de la construction de la gare de départ du téléphérique en 1934[6] ;
musée grenoblois des Sciences médicales : La Charité, 1865, haut-relief en pierre. Fronton de l'ancien hôpital civil désaffecté en 1913, ce fronton était resté en place, caché sous du plâtre, le bâtiment abritant alors l'hôtel Majestic, jusqu'en 1944. Ce fronton est exposé de nos jours à proximité du musée grenoblois des sciences médicales[8].
Valérie Huss (dir.), Grenoble et ses artistes au XIXe siècle, Grenoble, Editions Snoeck - Musée de Grenoble, 2020, 272 p. (ISBN9461615949) — Catalogue de l'exposition du au .