Tannery war der Sohn des Eisenbahningenieurs Delphin Tannery und jüngerer Bruder von Paul Tannery. Die Familie zog entsprechend dem Arbeitsort des Vaters oft in Frankreich um. Tannery besuchte das Gymnasium in Caen und absolvierte die Eingangsprüfung für die École Normale Superieure (sowie die der École polytechnique) als Bester. Er studierte an der ENS mit dem Abschluss 1869 als Bester seines Jahrgangs. Danach unterrichtete er Mathematik am Gymnasium in Rennes und ab 1871 in dem von Caen, bevor er ab 1872 an der ENS lehrte. 1874 wurde er bei Charles Hermite promoviert ("Propriétés des intégrales des équations différentielle linéaires à coefficients variables") und lehrte dann am Lycée Saint-Louis und an der Sorbonne, bevor er 1881 Maître de conférences an der ENS wurde und an der École Normale des jeunes filles in Sèvres. 1903 wurde er Professor für Analysis an der Sorbonne.
Er befasste sich mit elliptischen Funktionen, mit Mathematikdidaktik, Philosophie und Geschichte der Mathematik, beispielsweise mit Evariste Galois. Ab 1876 war er Herausgeber des Bulletin des Sciences Mathématiques.