È stato cofondatore dei Kitchen Motors a Reykjavík, l'organizzazione d'arte, think tank ed etichetta discografica specializzata che promuove concerti, mostre, performance, opere da camera, produzione di film, libri e programmi radiofonici basati su sperimentazione, collaborazione e ricerca di nuove forme d'arte. È stato anche membro del supergruppo di elettronica islandese Evil Madness.
Jóhannsson ha fondato gli Apparat Organ Quartet nel 1999, suonando in vari festival europei. Ha pubblicato dischi a nome proprio: Englabörn (Touch, 2002), Virðulegu Forsetar (Touch, 2004), IBM 1401, A User's Manual (2006), che ha iniziato la sua collaborazione con la 4AD, Fordlandia (4AD, 2008)[1], And In The Endless Pause There Came The Sound Of Bees (Type, 2009), The Miners' Hymns (Fat Cat, 2011)[2]. Ha anche prodotto e scritto musica con artisti come Marc Almond (l'album Stranger Things)[3], Barry Adamson e Pan Sonic, The Hafler Trio, Magga Stina e altri.
Ha scritto musiche per teatro, documentari e colonne sonore di diversi film. Nel 2015 vince il Golden Globe per La teoria del tutto, e viene nominato per la prima volta agli Oscar. L'anno successivo, nel 2016, ottiene un'altra nomination per Sicario, mentre nel 2017 l'Academy squalifica le sue musiche di Arrival dalla cinquina finale, poiché la colonna sonora non contiene solo musica originale ma, dichiaratamente, anche il remix di una composizione di Max Richter[4], On the Nature of Daylight, scelta dal regista per due brevi scene del film, con l'autorizzazione di Richter e la piena approvazione di Jóhannsson[5].