Wilayah Paroki Tomang pada awalnya merupakan bagian dari Gereja Santo Kristoforus, Grogol. Inisiasi diskusi antara Ordo Karmelit dan Keuskupan Agung Jakarta berlangsung pada tahun 1970, untuk merencanakan sebuah paroki yang akan dikelola oleh ordo tersebut. Wilayah yang hendak dibangun ialah daerah Tomang Barat, tepatnya di daerah Tomang City Garden.[1]
Izin Prinsip diterbitkan oleh Gubernur DKI Jakarta, Ali Sadikin pada tahun 1972. Pada 23 Oktober 1973, R.P. Aloysius Hardowidagdo, O.Carm. diangkat menjadi Pastor Paroki pertama di Gereja Maria Bunda Karmel,[2] setelah sebelumnya KAJ mengeluarkan surat pengukuhan tugas untuk pendirian Paroki Tomang pada 25 November 1972. Pada November 1973, Sekolah Sang Timur mulai beraktivitas di Jalan Arjuna Selatan sekaligus menjadi lokasi sementara peribadatan.
Pada tahun 1975, Panitia Pembangunan Gereja kembali dibentuk. Tiga tahun berselang pembangunan mulai direncanakan dengan menunjuk Biro Arsitek Han Awal serta Vincent Winarko selaku arsitek pelaksana. Pada 21 Oktober 1979, peletakan batu pertama berlangsung. Gereja ini kemudian diberkati oleh Uskup Agung Jakarta, Leo Soekoto, S.J. dan diresmikan oleh Gubernur Kepala Daerah Khusus Ibukota Jakarta, Tjokropranolo pada 14 September 1980. Tanggal 14 September merupakan Pesta Salib Suci dalam Gereja Katolik.
Setelah itu dilakukan beberapa pengembangan, seperti aula pada tahun 1988. Dengan jumlah umat yang berkembang, dilakukan pemekaran di wilayah Meruya dengan berdirinya Gereja Maria Kusuma Karmel, Meruya pada tahun 1993. Renovasi sempat diinisiasi pada tahun 2003, yang dimulai pada Maret 2004 dan berakhir pada Desember 2004. Renovasi juga sempat dilakukan pada gedung pastoran dan sekretariat paroki. Pengembangan juga dilakukan dengan membangun auditorium yang memiliki kapel (dengan pelindung Santa Theresia Lisieux) dan juga ruang adorasi.