Carmoly studierte Hebräisch und Talmudwissenschaften in Colmar. Danach ging er nach Paris. Er beschäftigte sich dort mit alten hebräischen Handschriften in der Nationalbibliothek, wo er eine Anstellung erhalten hatte. Mehrere Veröffentlichungen machten ihn in der Fachwelt bekannt.
Als in Belgien ein jüdischer Zentralrat gebildet wurde, wurde er am 18. Mai 1832 als Rabbiner nach Brüssel berufen. In dieser Position engagierte er sich in sozialen Dingen. Unter anderem unterstützte er Schulen für Arme. Nach sieben Jahren, legte er sein Amt nieder und ging zurück nach Paris und 1839 nach Frankfurt. Dort widmete er sich der Erforschung der jüdischen Literatur.
Hauptwerk
Histoire des médecins juifs, anciens et modernes, Brüssel 1844 (umfasst den Zeitraum 799 bis 1799)
Literatur
Salomon Wininger: Große Jüdische National-Biographie. Band I, Seite 495 f.