Der Ort in der Gemeinde Gotland liegt an der Westküste der Insel, etwa 32 km südlich von Visby.
Der alte Hafenplatz ist dem ehemaligen Piratennest der Vitalienbrüder benachbart. Er erlebte seinen Aufschwung zum wichtigsten Hafen der Insel erst am Ende des 18. Jahrhunderts, als er die Verbindungen nach Öland (Gaxa/Böda) und zum Festland herstellte und die Händler Georg Matthias und Jacob Niclas Donner sich hier niederließen und eine Reederei und eine Werft errichteten.
Warfsholm ist jeden Sommer Veranstaltungsort des Festivals „Music by the Sea“.