Ersten Violinunterricht erhielt Rode ab 1780, während acht Jahren bei André-Joseph Fauvel (um 1756–1834). Bereits als 12-Jähriger gab er die ersten Konzerte in seiner Heimatstadt. 1787 reiste er auf Empfehlung Fauvels nach Paris und wurde Meisterschüler des berühmten Giovanni Battista Viotti, mit dessen 13. Violinkonzert er 1790 in Paris debütierte.
Seine Erfolge mit weiteren Violinkonzerten Viottis waren so groß, dass er 1795 eine Professur am neugegründeten Pariser Konservatoriums erhielt. Mit den Violinisten Pierre Baillot und Rodolphe Kreutzer erarbeitete er die im Jahre 1802 veröffentlichte offizielle Violinmethode des Conservatoire.
Ausgedehnte Tourneen führten ihn durch die Niederlande, Deutschland, England und Spanien. In Madrid schloss er Freundschaft mit Luigi Boccherini.
Von 1800 bis 1803 wirkte Rode als Violinsolist in der Privatkapelle Napoleons. Zu Rodes Bewunderern gehörte der junge Louis Spohr, der Rodes Stil übernahm, nachdem er ihn 1803 in Braunschweig gehört hatte.
Rode schrieb Kammermusik, aber die Basis seiner Kompositionen blieben Viottis Konzerte, die ihm als Vorbild für seine eigenen dienten. Seine Werke wurden selten aufgeführt, hatten aber großen Einfluss auf die Entwicklung des romantischen Violinkonzertes. Seinen letzten, in einem Fiasko endenden Auftritt hatte er 1828 in Paris. Hier zeichneten sich bereits die Anzeichen einer Lähmung ab, an der er 1830 verstarb.