Nach Studienreisen durch Deutschland, die Niederlande und Frankreich trat Leu 1740 in den Zürcher Staatsdienst ein und bekleidete dort verschiedene Ämter, ab 1749 das Amt des Säckelmeisters.
Zusammen mit seinen Söhnen gab er ab 1747 das zwanzigbändige Allgemeine Helvetische, Eydgenössische oder Schweitzerische Lexicon heraus – das erste Lexikon über das gesamte Gebiet der damaligen Schweiz. Ebenso veröffentlichte er juristische Handbücher und weitere Nachschlagewerke.
1755 gründete er ein Bankhaus, die bis 2006 bestehende Bank Leu. 1759 wurde er Bürgermeister auf Lebenszeit der Stadt Zürich.
Schriften (Auswahl)
Von dem Regiment der loblichen Eydgenossschaft. 1722 (erweiterte Neuausgabe des Werkes von Josias Simler).
Eydgenössisches Stadt- Und Land-Recht. 1727–1746 (4 Bände).
Allgemeines Helvetisches, Eydgenössisches oder Schweitzerisches Lexicon. 1747–1765 (20 Bände, online).
Alfred Cattani: Johann Jakob Leu, 1689–1768. Verein für Wirtschaftshistorische Studien, 1955.
Hans Erhard: Johann Jakob Leus Alpenreise 1705. In: Jahrbuch des Historischen Vereins des Kantons Glarus, Bd. 64, 1973, doi:10.5169/seals-584442#59, S. 18–29.