Rumpel gründete gemeinsam mit Ernst Sommerschuh 1873 das Architekturbüro „Sommerschuh und Rumpel“ in Dresden, diese Sozietät bestand bis 1901. Es entstanden nach ihren Entwürfen unter anderem die Gebäude der Dresdner Bank, der Allgemeinen Deutschen Credit-Anstalt und des Bankhauses Roksch in Dresden. Des Weiteren fertigten sie 1884, gemeinschaftlich mit Kurt Diestel, für einen Architekturwettbewerb Entwürfe mit dem Kennwort „1843–1893“ für die Garnisonkirche in Dresden.[1]
Zusammen mit Arthur Krutzsch († 1919), mit dem er seit 1901 zusammenarbeitete, gewann er 1902 den Architekturwettbewerb für den Bau der Dresdner Versöhnungskirche. Die Errichtung des Kirchenbaus erlebte Rumpel nicht mehr. Er starb noch vor Baubeginn 1904 und wurde auf dem Loschwitzer Friedhof beigesetzt. Sein Sohn Fritz Rumpel (1876–1945) stellte die Kirche mit Arthur Krutzsch fertig.