Gjelsvik zog bei der Parlamentswahl 2017 erstmals in das norwegische Nationalparlament Storting ein. Dort vertritt er den Wahlkreis Akershus und wurde Mitglied im Finanzausschuss.[4] Er wurde zudem finanzpolitischer Sprecher seiner Partei.[5] Er verblieb auch nach der Wahl 2021 im Finanzausschuss.[4] Am 12. April 2022 wurde er als Nachfolger von Bjørn Arild Gram zum neuen Minister für Kommunalverwaltung und regionale Entwicklung in der Regierung Støre ernannt.[6] Er verließ die Regierung am 16. Oktober 2023 im Rahmen einer größeren Regierungsrochade. Sein Nachfolger wurde sein Parteikollege Erling Sande. Gjelsvik kehrte daraufhin ins Storting zurück.[7]