Svalbard est formé en 2011 à Bristol par les guitaristes Serena Cherry et Liam Phelan et le batteur Mark Lilley[1]. Cherry et Phelan se rencontrent pour la première fois à Bath, Somerset, alors que Cherry est en tournée avec son « étrange projet post-rock solo »[2]. Ils rencontrent et recrutent ensuite Lilley après l'avoir entendu jouer dans un studio de répétition, formant ainsi le noyau du groupe[2]. Le groupe emprunte son nom à la trilogie His Dark Materials de Philip Pullman, où l'archipel du Svalbard sert de décor fictif (en particulier dans Northern Lights)[3].
Cherry, Phelan et Lilley maintiendront le line-up de Svalbard constant tout au long de leurs premières sorties, et au cours de plusieurs changements de line-up (en particulier en ce qui concerne les bassistes)[1]. Svalbard enregistre son premier EP éponyme en 2012 en tant que groupe de cinq personnes avec le bassiste Ben Thomas et le chanteur Mike Thompson, ni Cherry ni Phelan ne voulant s'occuper des tâches vocales[4],[5]. En 2013, le groupe enregistre deux EP avec le bassiste Christian Prince, Gone Tomorrow et Flightless Birds[4],[5], tout en contribuant à la reprise de This Is the End de Victims sur l'EP Cover Buzz (2013) en collaboration avec Pariso, MINE et Let It Die[6].