Gerrit Smith besuchte eine Schule in Clinton und danach bis 1818 das dortige Hamilton College. Nach einem anschließenden Jurastudium wurde er als Rechtsanwalt zugelassen. Seit 1853 übte er diesen Beruf in Peterboro aus. Außerdem besaß er größere Ländereien, von denen er später einige der afroamerikanischen Bevölkerung seiner Heimat überließ. Politisch war er ein Gegner der Sklaverei und des Alkoholkonsums. Außerdem unterstützte er die Frauenrechtsbewegung. In den Jahren 1824 und 1828 war er Delegierter auf einem Staatskonvent. Er spielte eine bedeutende Rolle bei der Gründung der kurzlebigen Liberty Party. 1840 bewarb er sich erfolglos um das Amt des Gouverneurs von New York; im Jahr 1848 war er Präsidentschaftskandidat seiner Partei. Allerdings hatte er angesichts der damals vorherrschenden politischen Mehrheiten keine Chance, gewählt zu werden; mit 0,1 Prozent der Stimmen belegte er den vierten Platz.
Nach seiner Zeit im US-Repräsentantenhaus praktizierte Smith wieder als Anwalt. Er war auch als Publizist und Philanthrop tätig und setzte sich vehement für die Abschaffung der Sklaverei ein. So gehörte er auch zu den geheimen finanziellen Unterstützern von John Brown bei dessen Überfall auf Harpers Ferry im Jahr 1859. Er unterstützte den Bürgerkrieg, den er vor allem unter dem Gesichtspunkt der Sklavenbefreiung sah. Smith wurde Mitglied der Republikanischen Partei. Nach dem Krieg setzte er sich aber für einen milden Umgang mit den politischen Führern der ehemaligen Konföderation ein. Das brachte ihm Konflikte mit dem radikalen Flügel seiner Partei ein. Im Juni 1872 nahm er als Delegierter an der Republican National Convention in Philadelphia, auf der PräsidentUlysses S. Grant zur Wiederwahl nominiert wurde. Gerrit Smith starb am 28. Dezember 1874 während eines Besuchs in New York City.