У дорослому футболі дебютував 1972 року виступами за команду «Свонсі Сіті», в якій провів одинадцять сезонів, взявши участь у 393 матчах чемпіонату. Більшість часу, проведеного у складі «Свонсі Сіті», був основним гравцем команди і 1981 року допоміг команді вперше в історії вийти до англійського Першого дивізіону. Крім того у 1981—1983 роках він тричі поспіль виграв з командою Кубок Уельсу.
По завершенні сезону 1986/87 Джеймс приєднався до «Лестер Сіті», який щойно потрапив до Другого дивізіону[2], але провівши там лише пів року повернувся у «Свонсі Сіті», з яким 1989 року ще раз виграв Кубок Уельсу.
Пізніше Роббі грав грав за нижчолігові «Бредфорд Сіті» та «Кардіфф Сіті». Разом із Кардіффом він виграв Кубок Уельсу та англійський Третій дивізіон у сезоні 1992/93, який став його останнім сезоном у англійській Футбольній лізі після 20 років. У період з 1973 по 1994 рік він провів 783 матчі Англійської ліги, забивши 134 голи[3].
Надалі у 1993–1994 роках він був граючим тренером аматорського валлійського клубу «Мертір-Тідвіл», що виступав у англійській Національній Конференції, після чого перебрався у чемпіонат Уельсу і у сезоні 1994/95 грав за «Баррі Таун», а надалі став граючим тренером клубу «Лланеллі». Помер 18 лютого1998 року на 41-му році життя під час матчу з клубом «Портковл», впавши на газон[4].