Der Sohn eines Bauern bastelte seit frühester Kindheit gerne und baute Modelle. Später war er ein auf Mechanik spezialisierter Zimmermann und arbeitete zusammen mit Andrew Meikle, dem Erfinder der Dreschmaschine. Von 1780 bis 1783 studierte Rennie an der Universität Edinburgh und begann danach als Ingenieur zu arbeiten. Er wurde von Boulton and Watt, der Firma von James Watt, angestellt und beschäftigte sich fünf Jahre lang mit dem Bau von Mühlen. Er war ein Pionier beim Ersatz von Holzkonstruktionen durch Eisen.
1791 zog er nach London und gründete dort sein eigenes Unternehmen. Zu seinen frühen Projekten zählen der Lancaster Canal (1792 begonnen), die Schiffbarmachung der Flüsse Chelmer und Blackwater (1793), der Crinan Canal (1794), der Kennet-und-Avon-Kanal (1794 begonnen) und die Entwässerung der Norfolk Fens (1802–1810). Während der nächsten Jahre etablierte er sich jedoch als renommierter Brückenbauer. Er kombinierte Stein mit Gusseisen und schuf damit vorher nicht gekannte, flache elliptische Brückenbögen. Beispiele dafür sind die Leeds Bridge sowie die Waterloo Bridge (1810–1817) und die Southwark Bridge (1815–1819) in London.