Sauzay est le fils de Jeanne-Félicité-Julie Paillet, la fille de l'expert Alexandre Joseph Paillet.
En 1824 il entre au Conservatoire de Paris, où il est l'élève de Paul Guérin puis de Pierre Baillot en violon et d'Anton Reicha pour la composition[3]. Il y obtient un premier prix de violon en 1827 ainsi qu'un deuxième prix de fugue et contrepoint[4].
En 1860, il devient professeur de violon au Conservatoire[9] en remplacement de Narcisse Girard, et y enseigne pendant plus de trente ans, lorsqu'en 1892, à sa retraite, Martin-Pierre Marsick prend sa suite. Parmi ses élèves on compte le violoniste Carl Flesch et l'altiste Théophile Laforge.
Il est nommé chevalier dans l'ordre de la Légion d'honneur en 1868[9] et officier d'académie de l'ordre des Palmes académiques en 1878[9], puis officier d'instruction publique en 1889[4].
3 Romances sur des libérations conditionnelles d'Alfred de Musset, pour voix et piano (publié en 1877) Poèmes d'Alfred de Musset
Bonjour Suzon !
Sonnet d'Arvers
Fleurette !
Chanson ancienne : Dieu ! qu'il la fait bon regarder pour voix, violon et piano (publié en 1886) Poèmes de Charles, Duc d'Orléans
Chant d'un vanneur de blé aux évents, jeux rustiques pour voix et piano (publié en 1897) Poèmes de Joachim du Bellay
Musique chorale
Fragments des chœurs d’Athalie et d’Esther de Racine pour chœur de femmes et piano, op. 5
Écrits
Haydn, Mozart, Beethoven : étude sur le quatuor, Paris, Librairie de Firmin-Didot, , 182 p. (OCLC1311005, lire en ligne)
L'école de l'accompagnement, ouvrage faisant suite à l'Étude sur le quatuor, Paris, Librairie de Firmin-Didot, 1869[19] (OCLC150583598)
Le Violon harmonique : de ses ressources, fils d'emploi dans les écoles anciennes et modernes. Étude complétée par un cours d'harmonie à l'usage des violonistes, Paris, Librairie Firmin-Didot, , 274 p. (OCLC19536332, lire en ligne)
↑ ab et cFrançois-Joseph Fétis, Biographie universelle des musiciens et bibliographie générale de la musique. [vol. 7], Paris, Firmin-Didot, 1866-1868 (lire en ligne), p. 407
↑ a et bConstant Pierre, Le Conservatoire national de musique et de déclamation : documents historiques et administratifs : recueillis ou reconstitués, Paris, Imprimerie nationale, (lire en ligne), p. 849
↑ ab et cConstant Pierre, Le Conservatoire national de musique et de déclamation : documents historiques et administratifs : recueillis ou reconstitués, Paris, Imprimerie nationale, (lire en ligne), p. 456
↑Revue et gazette musicale de Paris, Paris : Gazette musicale de Paris, (lire en ligne), p. 345