Le 4 juin 1886, la préfecture apostolique du Transvaal est établi à partir de territoires du vicariat apostolique du Natal. Il est promu vicariat apostolique le 16 septembre 1904.
Il perd ensuite une partie de son territoire pour établir en 1910 la préfecture apostolique du Nord Transvaal et en 1923 la préfecture apostolique de Lydenburg.
Le 9 avril 1948, il devient le vicariat apostolique de Johannesburg. Il est promu diocèse de Johannesburg le 11 janvier 1951 et devient alors suffragant de l'archidiocèse de Pretoria. Il perd une dernière fois du territoire en 1965 pour établir la préfecture apostolique de l'Ouest du Transvaal.
Le 5 juin 2007, il est élevé archidiocèse métropolitain. Il a alors pour suffragants les diocèses de Klerksdorp, Manzini et Witbank.
En septembre 1995, le diocèse reçoit la visite du pape Jean-Paul II, alors en tournée sur tout le continent africain[1].