Prudhomme comenzó a estudiar originalmente ingeniería, pero decidió cambiarla por la filosofía para consagrarse posteriormente a la poesía.[1] En los comienzos de su carrera, se unió al parnasianismo, escuela literaria encabezada por el también poeta Leconte de Lisle, y contribuyó a las tres antologías de Le Parnasse contemporain: con 4 poemas en la primera (1866), 5 poemas en la segunda (1869-71) y uno solo en la última (1876). No obstante, su intención era crear una lírica científica e impersonal para los tiempos modernos: cantar las emociones y los sentimientos, pero sin personalizarlos jamás. Desbordaba arte y pesimismo, componiendo estructuras de grandes pretensiones, aunque un poco frías, como en las Stances et Poèmes, las Épreuves, las Solitudes ("Soledades", 1869), La vie intérieure, Les Vaines tendresses o Le Bonheur (1888). A partir de este último libro, fue postergando la poesía para centrarse en la estética y la filosofía. Obtuvo el primer premio Nobel de literatura, concedido en 1901.
Fue uno de los primeros valedores del capitán Alfred Dreyfus, participando en su defensa pública durante el polémico caso -véase: Caso Dreyfus) que agitó a la sociedad francesa entre 1894 y 1906.
También se distinguió como uno de los pocos artistas que se manifestó abiertamente a favor del proyecto de la Torre Eiffel en 1889 (modificando su opinión inicial contraria a la obra).
Sully Prudhomme ocupó el sillón 24 de la Academia Francesa, en el que también se han sentado personalidades destacadas como el escritor y ensayistaJean de la Fontaine y el matemático y físico Henri Poincaré.