Joseph Roux est le fils d'Auguste Roux, originaire du Montalbanais qui était arrivé à Périgueux comme employé de l'Économat de la Compagnie Paris-Orléans, et de Julie Roux. Il en était devenu le chef au moment de sa retraite. Deux autres de ses fils ont embrassé la carrière ecclésiastique.
À côté de la maison de ses parents habitait le chanoine Laurent Vizy (1815-1895) qui s'est occupé de sa première formation. Dès qu'il eut l'âge, il est entré à l'École cléricale qui se trouvait au quartier Saint-Georges de Périgueux, puis au Grand séminaire de Périgueux. Avant d'avoir terminé ses études ecclésiastiques, il s'est mis à la disposition d'un prêtre de Bordeaux qui souhaitait créer la branche masculine du Verbe Incarné. Il a été ordonné prêtre par le cardinal Victor Lecot, en 1896. Après l'échec de cette tentative, il est retourné dans son diocèse de Périgueux.
En 1901, il est nommé curé de Léguillac-de-l'Auche. Son église menace ruine. Il entreprend de la rebâtir. Il y a travaillé comme un tâcheron du Moyen Âge, tour à tour couvreur, menuisier, sculpteur recopiant les chapiteaux. Il fait pendant cette période la connaissance du marquis de Fayolle. La même année, l'évêque de Périgueux, François Delamaire, lui a demandé de faire des conférences sur l'art chrétien au Grand séminaire, en particulier sur la cathédrale Saint-Front. La loi de séparation des Églises et de l'État a arrêté ses conférences. Pour lui permettre de continuer ses études sur la cathédrale, l'évêque de Périgueux l'a rapproché de Périgueux en le nommant curé d'Antonne. Puis l'évêque Maurice Rivière le nomme chanoine titulaire de Saint-Front. Il a publié en 1920 son étude sur la cathédrale Saint-Front, La basilique Saint-Front de Périgueux. Ses origines et son histoire jusqu'en 1583, qui a été récompensée d'un prix par l'Institut.
