Albrecht I. war 1327 Reichslandvogt um den Bodensee, 1331 auch der Länder Uri, Schwyz und Unterwalden. Er fügte dem Besitz die Reichsvogtei über Altstätten und das Rheintal und Wartau hinzu. Albrecht I. war in eine Fehde mit Graf Rudolf III. von Montfort-Feldkirch verwickelt, die den Niedergang des Geschlechts einläutete und den Habsburgern ermöglichte, im Vorarlberg Fuss zu fassen. Die vier Enkel Albrechts I. teilten sich 1377/78 und 1387 das Erbe und begründeten vier Nebenlinien:
Nebenlinie Werdenberg
Nebenlinie Rheineck
Nebenlinie Bludenz
Nebenlinie Heiligenberg
Niedergang Werdenbergs
1402 verpfändeten sie die Grafschaft Werdenberg an die Grafen von Montfort-Tettnang, von denen sie 1483 an die Grafen von Sax-Misox gelangte. 1485 erwarb die Stadt Luzern die Grafschaft und gab sie 1493 an die Freiherren von Kastelwart weiter. Durch ein Burgrecht mit Luzern blieb die Grafschaft jedoch mit der Eidgenossenschaft verbunden, auch als 1498 die Grafschaft erneut die Hand wechselte zu den Freiherren von Hewen. So kämpfte Werdenberg im Schwabenkrieg auch an der Seite der Eidgenossen. 1517 verkauften die Freiherren von Hewen Werdenberg an den Kanton Glarus für 21 500 Gulden.
Glarus verwaltete Werdenberg als Landvogtei sehr streng – die Glarner Herren waren im Rheintal alles andere als beliebt. Wegen der verworrenen Rechtslage zwischen den Grafschaften Werdenberg und Sargans in der Herrschaft Wartau kam es wiederholt zu Streitigkeiten zwischen den Landvögten, die im «Wartauer Handel» 1694/95 bis vor die eidgenössische Tagsatzung getragen wurden.