Народився в родині єврейського рабина, який емігрував з Росії. Починав як театральний діяч, займаючись в основному спектаклями на соціальну тематику. У 1937 році перейшов в кінематограф, в тому ж році вступив в комуністичну партію.
У Голлівуді співпрацював з Warner Bros., але найвідоміший свій фільм — політичну драму «Все королівське військо» — зняв на Columbia Pictures. На той час над комуністами згустилися хмари, і режисер вийшов з партії. Це не врятувало його від включення в чорний список Голлівуду, з якого Россен вибрався лише в 1953 році. Після цього він зняв ще кілька фільмів, включаючи «Шахрая».
Був двічі одружений, мав двох дочок і сина.
Помер 1966 року. Похований на цвинтарі Вестчестер-Хіллз у Гастінгсі-на-Гудзоні (штат Нью-Йорк).