Джеймс родился и вырос в Шотландии. Когда он выступал в составе мужской сборной Великобритании на зимних Олимпийских играх 1998, там он встретил свою будущую жену Маргарету Линдаль (в замужестве изменила фамилию на Драйбур), которая играла там за женскую сборную Швеции по кёрлингу и в составе сборной стала бронзовым призёром Олимпиады. После этого Джеймс переехал в Швецию, женился на Маргарет и стал шведским гражданином, выступая в шведских турнирах, а также на международной арене за мужскую сборную Швеции. После окончания карьеры игрока он перешёл на тренерскую работу, тренирует различные команды, в 2008—2014 тренировал мужскую сборную Дании.
Двое его братьев — также кёрлингисты. Один из братьев, Дуглас, переехал в Ирландию, принял ирландское гражданство и выступал в составе мужской сборной Ирландии. Другой брат, Стюарт (англ.Stewart Dryburgh)[1], переехал в Швейцарию и выступает в швейцарских командах, а также играл за сборную Швейцарии.
.svg){kind=small}
