Zusammen mit Jacob von Melle gehörte er in seiner Kandidatenzeit von 1705 bis 1708 zu den Herausgebern der gelehrten Monatschrift Nova litteraria maris Balthici et Septentrionis. Von besonderer Bedeutung für die Kirchengeschichte Lübecks ist seine Lübeckische Kirchenhistorie von 1724. Daneben schrieb er eine Reihe von exegetischen und praktisch-theologischen Schriften.
Schriften
Nova litteraria maris Balthici et Septentrionis collecta. Lübeck 1705.
Dissertatio epistol. de claris Godofredis, ad Godfredum a Wedderkop. Lübeck 1708.
De Doctorum vita privata, quam honoribus quidam et officiis publicis prætulerunt, tractatus historico-moralis. Lübeck 1708.
De marginali b. Lutheri in Proverb. XXX, 10 glossa: „Nichts liebers ist auf Erden, denn Frauenliebe, wems kann werden“. Lübeck 1708.
Kurzgefaßte Lebensbeschreibung der Lübeckischen Superintendenten, seit der Reformation Lutheri bis auf gegenwärtige Zeiten, davon der erste Theil vorstellet Herrn M. Hermann Bonnum. Alles aus theils gedruckten, theils ungedruckten Urkunden, Documenten und Arten, mit denen dahin gehörigen Beylagen ausgefertiget. Lübeck und Leipzig 1710.
Kurze, leichte und erbauliche Fragen für junge und einfältige Leute, die zur Beichte und heil. Abendmahl gehen wollen. Lübeck 1711.
Die Gottlob vergeblich bestürmte Evangelisch-Lutherische Kirche, in dem Punkte vom heil. Abendmahl. Lübeck / Leipzig 1714.
Dissertatio, qua annum jubilaeum MDCCCXVII ecclesiae Evangelico-Lutheranae neutiquam esse fatalem saecularia sacra rite facturus evincit etc. Lübeck 1717.
Daß Des Fürstl. Mecklenb. Cammer-Raths, und Bau-Directoris, Herrn Leonhard Christoph Sturmen Meynung Von dem Heil. Abendmahl, Nicht, wie Er vorgiebet, neu, Sondern schon Eine alte, faule, verdorbene Schwermerey Sey, Wird denen Gelehrten hiermit entdecket, Und zugleich das Verzeichniß Angehänget... Lübeck 1719.
Vindiciae conjugii Christianorum adversus obtrectatores Judaeos. Lübeck 1719.
Caspar Heinrich Starke. In: Johann Anton Trinius: Beytrag zu einer Geschichte berühmter und verdienter Gottesgelehrten auf dem Lande. Band 1. Jacobi, Leipzig 1751, S. 611–621 (Volltext in der Google-Buchsuche).
Caspar Heinrich Starke. In: Elias Friedrich Schmersahl: Neue Nachrichten von jüngstverstorbenen Gelehrten. Band I, Stück 2. Jacobi, Leipzig 1753, S. 302–311 (Volltext in der Google-Buchsuche).
Starke, Kaspar Heinrich. In: Johann Georg Meusel: Lexikon der vom Jahr 1750 bis 1800 verstorbenen teutschen Schriftsteller. Band 13. Fleischer, Leipzig 1813, S. 294–297 (Volltext in der Google-Buchsuche).
Andreas Kurschat: Starck, Caspar Heinrich. In: Biographisches Lexikon für Schleswig-Holstein und Lübeck. Hrsg. von der Schleswig-Holsteinischen Landesbibliothek unter Mitwirkung des Vereins für Lübeckische Geschichte und Altertumskunde. Band 13. Wachholtz, Neumünster 2011, S. 441–445.