Durbin lahir tahun 1989 dari pasangan Judy Settle-Durbin dan Willy Durbin. Ayahnya adalah seorang musisi, wafat akibat overdosis narkoba saat Durbin berumur 9 tahun. Dia mengatakan saat audisi American idol ditayangkan, bahwa ia menyesal tidak mendapat kesempatan untuk mengenal ayahnya dengan baik. Ia didiagnosa menderita Tourette syndrome dan Asperger syndrome tak lama sepeninggal ayahnya. Dia masuk ke Musicscool, sebuah sekolah musik di Santa Cruz yang dikelola oleh Dale Ockerman. Dia telah tampil bersama grup yang dibentuk oleh Dale Ockerman yaitu The White Album Ensemble, dan juga Guitarmy.
Pada tahun 2006 ia tampil dalam grup teater anak-anak di santa Cruz, Kids on Broadway, dan bermain sebagai pemeran utama dalam Grease dan Beauty and the Beast. Tahun 2007 ia memainkan peran utama sebagai Tony dalam West Side Story dan juga Oscar dalam Sweet Charity—keduanya diproduksi oleh All About Theatre, sebuah komunitas perkumpulan teater Santa Cruz. Pada tahun 2008, Durbin muncul dalam serial video "Art & Science of Sound Recording"-nya Alan Parsons, versi rekaman dari "We Play The Game'-nya Parson pada Expression College for Digital Arts. Ia dulunya adalah vokalis sebuah band metal Hollywood Scars, dengan nama panggung Jimmy Levox. Dipengaruhi band-band semacam Guns N' Roses dan Mötley Crüe, Hollywood Scars mendapatkan inspirasinya dari kemewahan, daya tarik sekaligus kemerosotan Sunset Strip di Hollywood era 80-an dan awal 90-an. Band tersebut telah melepas singgel berjudul "Under The Cherry Tree". James juga anggota band Whatever Fits. Iapun pernah menyanyanyikan musik country.
