Le lemme de Robbins(en), utilisé dans les méthodes empiriques de Bayes(en), porte son nom. Robbins introduit les méthodes empiriques de Bayes en 1955, où il les présente au Third Berkeley Symposium on Mathematical Statistics and Probability.
Robbins est également l'un des concepteurs du premier algorithme d'approximation stochastique(en), la méthode dite de Robbins-Monro, et il a travaillé sur la théorie des tests dits « power-one » et de l'arrêt optimal. En 1985, dans l'article « Asymptotically efficient adaptive allocation rules », avec Tze Leung Lai, il construit des méthodes de sélection de populations uniformément convergentes pour le problème du bandit manchot qui possèdent le taux de convergence le plus rapide vers la population avec la moyenne la plus élevée, dans le cas où les distributions de récompenses de la population sont une famille exponentielle à un paramètre. Ces politiques ont été simplifiées dans un article de 1995 « Sequential choice from several populations », avec Michael N. Katehakis.
avec Sudhish G. Ghurye, « Two-stage procedures for estimating the difference between means », Biometrika, vol. 41, no 1, , p. 146-152
avec Cyrus Derman, « The strong law of large numbers when the first moment does not exist », Proceedings of the National Academy of Sciences of the United States of America, vol. 41, , p. 586-587
« An empirical Bayes approach to statistics », dans Jerzy Neyman (éditeur), Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, vol. 1, Berkeley, California, University of California Press, , p. 157-163
avec Yuan Shih Chow, « On the asymptotic theory of fixed-width sequential confidence intervals for the mean », The Annals of Mathematical Statistics, vol. 36, no 1, , p. 457-462
Tze Leung Lai et David Siegmund, « The Contributions of Herbert Robbins to Mathematical Statistics », Statistical Science, vol. 1, no 2, , p. 276-284 (lire en ligne)
« In Memoriam », International_Statistical_Institute, vol. 25, no 3, (lire en ligne)
F. Thomas Bruss, « What is known about Robbins' Problem? », Journal of Applied Probability', vol. 42, no 1, , p. 108-120 (lire en ligne)
F. Thomas Bruss et Yves Coamhin Swan, « A continuous-time approach to Robbins' problem of minimizing the expected rank », Journal of Applied Probability', vol. 46, no 1, , p. 1-18 (lire en ligne)