Nach dem Tod des Bischofs Petazzi 1772 wurde Karl Johann von Herberstein dessen Nachfolger als Bischof von Laibach. Die Einweisung in das Amt erfolgte am 5. Dezember 1772.
Während seiner Amtszeit unterstützte er die kirchenpolitischen Reformen Kaiser Josefs II. Er setzte sich für die Diözesanregulierung Innerösterreichs ein, deren Ziel es war, die geographischen und bevölkerungspolitischen Gegebenheiten des Landes zu berücksichtigen. Er visitierte die Landpfarreien und unterstützte die kulturellen und geistigen Bedürfnisse der Minderheiten. Er veranlasste die Übersetzung religiöser Literatur in die Krainer Landessprache und forderte Toleranz in religiösen Dingen. 1782 verfasste er einen Hirtenbrief, in dem er die Probleme und Konflikte zwischen Staat und Kirche deutlich zur Sprache brachte.
Papst Pius VI. widersetzte sich jahrelang dem Wunsch Kaiser Josefs II., Laibach zum Erzbistum und damit Johann Karl Herberstein zum Erzbischof zu erheben. Der Papst lehnte die Josephinischen Reformen ab und missbilligte die Haltung des Bischofs, der zu den Verfechtern der Reformen gehörte. Die Verhandlungen zwischen dem Wiener Hof und der Kurie zogen sich jahrelang hin. Herberstein starb 1787 und vererbte sein Vermögen der Normalschule und dem Armeninstitut.