Gaup lahir di Kautokeino, Kabupaten Finnmark, Norwegia Utara. Ia mula-mula ingin menjadi seorang atlet namun dari 1974 sampai 1978 ia masuk sekolah drama dan belajar di Teater Sámi Beaivváš di Kautokeino. Ia juga mendirikan kelompok teater berbahasa Sami pertama.
Setelah berakting dalam beberapa film, ia mengembangkan ketenaran internasionalnya pada 1987 dengan filmnya Ofelaš (judul Inggris internasional Pathfinder). Film tersebut merupakan film jangka penuh pertama dengan seluruh dialog dalam bahasa Sámi Utara. Film tersebu meraih nominasi Academy Award untuk film berbahasa asing terbaik dan penghargaan Grand Prize di Festival Film Fantastik Internasional Yubari 1990. Setelah itu, ia membuat film yang dibiayai Disney Haakon Haakonsen (Kapal tenggelam), berdasarkan pada novel petualangan remaja Haakon Haakonsen. En norsk Robinson (Haakon Haakonsen. A Norwegian Robinson) karya pengarang Norwegia O. V. Falck-Ytter. Pada 1993, ia membuat film paling terkenalnya sampai sekarang Hodet over vannet (Head Above Water). Karena film tersebut, ia memenangkan Penghargaan Amanda (Penghargaan Film Norwegia paling berpengaruh). Pada 1996, ia membuat ulang sebuah film Amerika dengan Cameron Diaz dan Harvey Keitel dalam peran utama. Film berikutnya adalah Tashunga (juga dikenal sebagai North Star), sebuah proyek buatan Christopher Lambert. Film tersebut meraih sambutan dari box office dan para kritikus.
