Il est aujourd'hui surtout connu pour le théorème de Poincaré-Bendixson, qui décrit le comportement des courbes intégrales des équations différentielles autonomes de premier ordre (qui, dans la théorie originale de Poincaré, décrivent l'évolution temporelle des systèmes dynamiques) en deux dimensions au voisinage d'une singularité. Ce théorème énonce que la courbe se termine par un point singulier (source ou puits), ou bien qu'il existe un cycle limite (la courbe intégrale « orbite » autour du point singulier). Bendixson en a donné la démonstration en 1901, indépendamment de Poincaré[4].
Il a également étudié les solutions périodiques des équations différentielles par la méthode du développement en fraction continue. Dans le domaine de la résolution des équations algébriques, il a repris la méthode d'Abel pour déterminer si une équation est soluble par radicaux (Abel s'était borné à montrer que certaines équations du cinquième degré ne sont pas solubles par radicaux).