Il est né à Berlin, et a passé sa jeunesse à Templin et Francfort où il a étudié la flûte et piano. Plus tard, il étudie la composition avec J.A. Gürrlich à Berlin. Il se lie d'amitié avec le compositeur Clementi. Il lui rend visite en Russie, où il reste huit ans. Pendant les guerres napoléoniennes, il s'enfuit à Londres où ses concerts de piano sont bien accueillis. Il retourne à Berlin en 1815 où il vécut le reste de sa vie. Un trouble nerveux dans son bras l'a conduit à renoncer à sa carrière de pianiste virtuose. Il construit alors une réputation en tant que professeur et a au nombre de ses élèves les plus distingués : Félix et Fanny Mendelssohn, Taubert, Henselt, Dorn et August Wilhelm Bach
Berger a écrit plus de 160 lieder (notamment en 1816/17 un cycle de mélodies Die schöne Müllerin), ainsi qu'un concerto pour piano, sept sonates pour piano, vingt-neuf études, et plusieurs autres pièces pour piano.
Dieter Siebenkäs: Ludwig Berger, sein Leben und seine Werke. Merseburger, Berlin 1963 (Berliner Studien zur Musikwissenschaft, Band 4; zugleich Dissertation FU 1961, mit Werkverzeichnis der gedruckten sowie der ungedruckten Werke und Briefe aus dem Nachlass der Staatsbibliothek zu Berlin).
Dieter Siebenkäs: Berger, (Carl) Ludwig (Heinrich). In: Die Musik in Geschichte und Gegenwart. 2. Auflage. Band 2: Personenteil. 1999, Sp. 1258–1261 (mit einem weiteren Porträt).
Klaus Martin Kopitz, Eva Katharina Klein, Thomas Synofzik (Hrsg.): Briefwechsel Robert und Clara Schumanns mit Korrespondenten in Berlin 1832 bis 1883 (= Schumann-Briefedition. Serie II, Band 17). Dohr, Köln 2015 (ISBN978-3-86846-028-5), S. 87–97.
