Il passe ensuite au 78e de ligne comme chef de bataillon, puis à l'état-major des Places pour blessures le , comme commandant de la citadelle de Bitche. C'est là qu'il montre sa grande ténacité, soutenant le siège de la citadelle de Bitche durant sept mois avec moins de 3 000 hommes contre 20 000 Bavarois bien équipés, stationnés tout autour de la ville. Selon ses propres mots, il est résolu à tenir la place « jusqu'au bout ! » Il ne rend les armes que sur ordre du Gouvernement français en .
Fin de carrière et retraite albigeoise
Commandant de 1re classe de la place de Marseille le , Teyssier espère terminer sa carrière dans cette ville et se prépare à une installation définitive. Sans être consulté, il est nommé le commandant de 1re classe au fort de Vincennes.
Fatigué par un service très chargé et aspirant au repos, le colonel Teyssier demande et obtient par décret du sa mise à la retraite pour ancienneté de service.
Il finit sa vie à Albi, sa ville natale, où est érigé en son honneur un monument sculpté par Gabriel Pech. Membre du Félibrige, il devient président de la Société des sciences, arts et belles-lettres du Tarn et publie en 1913 un recueil de contes en langue albigeoise. Augmenté d'autres contes de sa plume, pour la plupart issus du fonds narratif traditionnel européen et parus également dans la Revue du Tarn, ce recueil est repris dans l'ouvrage en graphie classique de l'occitan paru sous le titre Contes e racontes del coronèl[1] (Contes et récits du colonel[2]). Il repose au cimetière des Planques d'Albi[3].
Le Centre culturel occitan de l'Albigeois a réalisé une exposition sur la vie et l’œuvre de Teyssier en 2019.
Léon Belot, Le Colonel Teyssier, défenseur de Bitche, Albi, Corbière et Julien, 1911, 143 p.
Eugène Guesquin, Bitche et ses défenseurs (1870-1871), hommage au colonel Teyssier, souvenir à l'Alsace-Lorraine, Coulommiers, Impr. de P. Brodard, 1900, 502 p.
Henri Maynard, Le Colonel Teyssier : héros de Bitche, 1870, Paris, 1959, 4 p.
(oc) Contes e racontes del coronèl, Albi, Centre cultural occitan de l'Albigés, , 144 p. (ISBN9782954248158).
Contes et récits du colonel + CD audio, Albi, Centre cultural occitan de l'Albigés, , 138 p. (ISBN9782954248172).