Olsen stammt aus der norwegischen Unternehmerfamilie Olsen, die an der Reederei Fred. Olsen & Co. beteiligt ist. Olsen ist gleichzeitig auch der Hauptaktionär in der Aktiengesellschaft Firmament A/S, die aus der Fred Olsen-Gruppe hervorgegangen ist und zu der weitere Tochterunternehmen gehören. Olsen ist außerdem Aufsichtsratsvorsitzender von zwei Unternehmen.[1][2] Petter Olsen erbte von seiner Mutter Henriette Olsen die Gemäldesammlung, die seine Eltern im Laufe ihres Lebens erworben hatten.[3][4]
Die Pastellversion Der Schrei von 1895 wurde am 2. Mai 2012 bei einer Auktion von Sotheby’s in New York für 119.922.500 US-Dollar an Leon Black versteigert.[5] Das war der bis dahin höchste bei einer Auktion erzielte Preis für ein Kunstwerk.[6] Zwischen den beiden Brüdern Fredrick und Petter Olsen kam es infolge des Verkaufs dieses Bildes zu einem Rechtsstreit über das Erbe.[7][8]
