L'arcidiocesi, con sede nella città di Mardin, sita geograficamente nell'alta Mesopotamia, fu un'antica sede della Chiesa apostolica armena. A partire dal 1708 si ebbero stabilmente dei vescovi in unione con la sede di Roma.
Nel 1890 erano segnalati circa 8.000 armeni cattolici, distribuiti in sei parrocchie ed affidati alle cure di 13 sacerdoti armeni.[1]
A causa del genocidio d'inizio Novecento, l'arcidiocesi, come tutte le diocesi armene turche, perse la maggior parte della sua popolazione. Nella persecuzione turca trovò la morte l'arcivescovo Ignazio Maloyan, beatificato da papa Giovanni Paolo II nel 2001. I suoi successori si stabilirono provvisoriamente a Baghdad, finché nel 1954 l'arcieparchia fu soppressa, i territori turchi furono inglobati nell'arcieparchia di Costantinopoli e dai suoi territori posti al di fuori della Turchia furono erette due circoscrizioni: l'arcieparchia di Baghdad e l'eparchia di Kamichlié.
L'Annuario Pontificio del 1951, riferendo i dati relativi all'anno 1949, segnalava la presenza di 2.500 cattolici, 7 sacerdoti e 6 parrocchie.
(FR) Hovhannes J. Tcholakian, L'église arménienne catholique en Turquie, 1998
(FR) Il martirio di Ignace Maloyan, su denisdonikian.blog.lemonde.fr. URL consultato il 26 ottobre 2010 (archiviato dall'url originale il 3 marzo 2014).