Imparò a suonare il violino con suo padre, Gerhard Heinrich Romberg, anch'egli musicista e scrisse le sue prime composizioni a sette anni[1], eseguendole poi in pubblico; in seguito entrò a far parte dell'Orchestra della corte di Münster. Nel 1790 viene accolto nell'orchestra della corte del principe elettore di Bonn[1] (in cui il maestro di cappella era Andrea Luchesi), come il cugino Bernhard Romberg (1767-1841), con il quale si è esibito in tutta Europa tra il 1784 e il 1796. È in questo periodo che incontra il giovane Beethoven[2], con cui formerà un quartetto di cui faranno parte anche Franz Anton Ries, come primo violino e suo cugino come violoncellista.
Nel 1793 si trasferisce ad Amburgo, a causa della guerra, dove si inserirà nell'orchestra dell'Opera. In questo periodo riuscirà a far rappresentare la sua prima opera vocale, il singspiel intitolato Der Rabe (Il Corvo) nel 1794. Qui comporrà anche la sua opera Der Messias (Il Messia).
Nel 1796 parte per Vienna[2], insieme al pittore Karl von Kügelgen e qui incontra Haydn, che si dimostra interessato ai suoi tre quartetti opus 3, scritti poco prima dei quartetti opus 18 di Beethoven.
Dopo un viaggio a Parigi, si installa ad Amburgo, dove diventa un'importante personalità musicale della città[2].
Nel 1815 succede a Louis Spohr nel posto di Hofkapellmeister (maestro di cappella e direttore del coro alla corte del Duca di Gotha[1].
La Sinfonia dei giocattoli venne a lui attribuita, come lo fu a Joseph Haydn e a Leopold Mozart, prima che venisse attribuita al monaco benedettino Edmund Angerer.
Opere
Quartetti per archi
3 Quartetti per archi, op. 1 (mi bemolle maggiore, sol minore, fa maggiore)
3 Quartetti per archi, op. 2 (re maggiore, mi minore, fa maggiore)
3 Quartetti per archi, op. 5
3 Quartetti per archi, op. 7
Quartetto brillante, op. 11
3 Quartetti per archi, op. 16
3 Quartetti per archi, op. 30
Quartetto per archi, op. 40
3 Quartetti per archi, op. 53
3 Quartetti per archi, op. 59
3 Quartetti per archi, op. 76
Tre rondi alla Polacca op. 34
Quartetti per pianoforte
Quartetti per pianoforte e archi, op. 19
Sonate per violino e pianoforte
3 Sonate per violino & pianoforte, op. 9 (sol maggiore, si bemolle maggiore, do minore)