Nach dem Tod seines Vaters erbte Johann Philipp gemeinsam mit seinen Brüdern Friedrich, Johann Wilhelm und Friedrich Wilhelm das Herzogtum Sachsen-Altenburg. Die Landesteilung des väterlichen Herzogtums war vom Vater schon vorher in einem Vertrag mit seinem Bruder Johann festgelegt worden, an den Sachsen-Weimar fiel. Die Vormundschaft über die Prinzen führten der Kurfürst von Sachsen und deren Onkel Johann; nach dessen Tod 1605 ersterer allein. Zwischen den Linien Weimar und Altenburg entbrannte bald der so genannte „Präzedenzstreit“ um ehemaligen gemeinsamen Besitz, vor allem um den Anteil an der Grafschaft Henneberg, dem Gerichts- und Schutzgeld von Erfurt, der Universität Jena und der Münzstätte Saalfeld und dem Vorrang der Häuser im Falle des Aussterbens Albertiner, der trotz Vermittlung durch den Kaiser erst 1672 mit dem Aussterben der Linie Sachsen-Altenburg beigelegt wurde.
Nach dem Jülich-Klevischen Erbfolgestreit führten die Brüder die Titel von Herzögen von Jülich, Kleve und Berg, allerdings nur nominell. 1612 gingen die Brüder zur weiteren Ausbildung an die Universität Leipzig, wo Johann Philipp im Jahr darauf zum Rektor ernannt wurde. Im Jahr 1618 wurde Johann Philipp mündig und übernahm die Regierung. Seine Brüder fand er mit Leibgedingen ab.
Johann Philipp erwarb 1621 die Herrschaft Gräfenthal, erließ eine verbesserte Landordnung sowie eine gedruckte Taxordnung für Handwerker. Weitere territoriale Zugewinne machte Johann Philipp durch das Aussterben der Grafen von Gleichen und der älteren Linie Sachsen-Coburg. Im Dreißigjährigen Krieg hatte das Land schwer zu leiden. Die Bevölkerungszahl sank rapide und 1632 wurde die Stadt durch Wallenstein gebrandschatzt. Als Johann Philipp dagegen protestierte und sich auf ein Versprechen von dessen Feldherren Heinrich von Holk berief, erwiderte Wallenstein: „Wenn der Herr Christus selber kommt, müssen die Apostel schweigen.“
Johann Philipp war Mitglied der Fruchtbringenden Gesellschaft mit dem Gesellschaftsnamen „der Köstlichste“. Er ist in der Brüderkirche in Altenburg bestattet.