Sede vescovile era la città di Saint-Paul-Trois-Châteaux nell'attuale dipartimento della Drôme, dove fungeva da cattedrale la chiesa di Nostra Signora Assunta e San Paolo.
L'antica città romana di Augusta Tricastinorum divenne sede di una diocesi della provincia romana della Gallia Viennense attorno al IV secolo. Il primo vescovo storicamente documentato è Fiorenzo, che partecipò al concilio di Epaon del 517. Gallia christiana aggiunge prima di Fiorenzo una serie di 10 santi, venerati nel Paese ma non necessariamente vescovi.[1] Tra questi santi, spicca la figura di san Paolo, all'origine del nome di Saint-Paul-Trois-Châteaux, che potrebbe essere identificato con il vescovo Paolo, che prese parte al concilio di Valence del 374.
A causa delle devastazioni operate dai Saraceni, all'epoca di papa Gregorio IV e del vescovo Bonifacio (prima metà del IX secolo), la diocesi di Orange fu unita a quella di Saint-Paul-Trois-Châteaux. Le sedi risultano essere separate nella seconda metà del X secolo (durante gli episcopati di Ponzio III e Aldrico di Orange), per poi essere nuovamente unite fino all'epoca del vescovo Pons III, quando papa Pasquale II, nel 1107, stabilì la definitiva separazione delle due sedi.
Verso la metà del XII secolo fu cominciata la costruzione della cattedrale, ultimata verso il 1220. Risale allo stesso periodo la costruzione a Saint-Restitut della chiesa dedicata a San Restituto, ritenuto il fondatore della diocesi.
Un decreto della Sacra Congregazione Concistoriale del 12 giugno 1911 autorizzò il vescovo di Valence e i suoi successori ad aggiungere al loro titolo quello della sede soppressa di Saint-Paul-Trois-Châteaux.
^Duchesne, op. cit., p. 263. Tra questi santi, secondo il medesimo autore, è da cancellare san Giusto, frutto delle opere di un noto falsario del Seicento, Polycarpe de la Rivière.
^Il vescovo Fiorenzo che prese parte al concilio di Lione, celebrato tra il 518 e il 523, potrebbe anche essere vescovo di Orange; cfr. Duchesne, op. cit., p. 264.
^Dopo Betto e prima di Bonifacio, Gallia christiana menziona una serie di vescovi, sui quali non esiste alcuna documentazione storica, al di fuori del catalogo: Botarico, Salitonio, Gemmardo, Ingilberto, Riccardo, Segaldo, Bertrando, Aldebrano I, Berniconio, Aldebrano II, Ponzio I e Oldarico I. Alcuni di questi vescovi sono duplicazioni di vescovi successivi, realmente esistiti.
^I vescovi da Bonifacio a Géraud d'Asteri furono titolari delle sedi unite di Orange e di Saint-Paul-Trois-Châteaux.
^Secondo Duchesne, Ponzio I, menzionato da Gallia christiana come Ponzio II, non è mai esistito e corrisponde al Ponzio III menzionato nel 1133 in un diploma dell'imperatore di Lotario III (confuso con Lotario I).
^Fu vescovo delle sedi unite di Saint-Paul-Trois-Châteaux e Orange fino alla decisione di papa Pasquale II del 1107, che separò definitivamente le due sedi; cfr. Boyer de Sainte-Marthe, op. cit., pp. 56-57.