Entrato molto giovane nel Sindacato ebraico, iniziò con la gestione di una casa di gioco a New York, diventando con il tempo un famoso e potente capo negli ambienti malavitosi, con il soprannome The Brain, ossia «La mente», tuttora considerato il maggiore responsabile dello scandalo delle scommesse dei Chicago White Sox nelle finali del campionato statunitense di baseball del 1919.
Morì il 5 novembre 1928, un giorno dopo essere stato vittima di un agguato all'ingresso dell'hotel Park Central di New York per mano del giocatore d'azzardo George «Hump» McManus. Secondo Leo Katcher, un esperto di crimine organizzato, nel corso della sua vita Rothstein «trasformò un'attività delinquenziale di teppisti in un grande business, gestito come una società, con se stesso posto in cima».
Rothstein viene citato in una scena eliminata del filmIl padrino - Parte II, quando il giovane mafiosoDon Vito Corleone, su presentazione di Peter Clemenza, conosce Hyman Suchowsky, emergente malavitosoebreo. Don Vito suggerisce ad Hyman di cambiare cognome, per celare le proprie origini ebraiche. Clemenza suggerisce Johnny Lips, ma Don Vito gli chiede chi sia la persona che ammira di più al mondo, e Hyman nomina Arnold Rothstein, da cui trae il suo nuovo cognome, Roth.