Baldvinsson ha cominciato la carriera con la maglia dell'Ålgård, formazione all'epoca militante nella 2. divisjon, terzo livello del campionato locale. Ha esordito in prima squadra nel 2006 e vi è rimasto fino all'estate 2012.
Il 27 luglio 2012, gli inglesi del Bristol Rovers hanno annunciato d'aver trovato un accordo con l'Ålgård per il trasferimento del calciatore.[2] Il suo nome era stato consigliato al manager Mark McGhee da Brian Kerr, ex commissario tecnico delle Fær Øer.[3] Il 1º agosto, Baldvinsson ha firmato un contratto biennale con la nuova squadra.[4] Il 13 agosto successivo, senza aver disputato alcun incontro ufficiale, ha rescisso il contratto che lo legava al club per tornare all'Ålgård.[5]
Il 1º febbraio 2013 ha firmato un contratto biennale con il Bryne.[6] Ha debuttato nella 1. divisjon in data 14 aprile, schierato titolare nella vittoria casalinga per 2-1 contro il Fredrikstad.[7] Ha chiuso la stagione con 26 presenze tra campionato e coppa, senza mai andare a segno. Il Bryne ha terminato l'annata al 7º posto finale.
Il 31 marzo 2014, ha fatto ritorno all'Ålgård.[8] Al termine del campionato 2014, la squadra è retrocessa in 3. divisjon, avendo chiuso l'annata all'ultimo posto.[9] Baldvinsson è rimasto in squadra fino all'agosto successivo.
Il 29 agosto 2015 è passato ai danesi del Fredericia, formazione a cui si è legato fino al 31 dicembre successivo.[10] Ha esordito in squadra il 27 settembre, subentrando a Brent McGrath nel pareggio per 0-0 contro l'HB Køge.[11] Il 3 dicembre ha segnato l'unica rete in squadra, nel 4-4 in casa del Roskilde.[12] Tra campionato e coppa, ha totalizzato 9 presenze e una rete in squadra, svincolandosi il 1º gennaio 2016.
Libero da vincoli contrattuali, in data 29 marzo 2016 ha firmato un accordo con il Vidar, compagine norvegese di 2. divisjon.[13] Ha esordito in squadra il 9 aprile successivo, schierato titolare nella vittoria interna per 2-0 sull'Egersund.[14] Il 7 maggio ha trovato la prima rete, nel successo per 4-1 sul Lysekloster.[15] Ha chiuso la stagione con 27 presenze e 4 reti, tra campionato e coppa.
Il 3 gennaio 2017, il Bryne ha reso noto il ritorno in squadra di Baldvinsson, che ha firmato un contratto biennale con il club.[16]
.svg){kind=small}
