Né à Vienne, Léopold est le plus jeune fils du duc Albert II d'Autriche et de son épouse Jeanne de Ferrette dont les ainés sont les ducs Rodolphe IV et Albert III. Conformément à la réglementation de la succession, adoptée par leur père en 1355, les frères devraient gouverner ensemble ; à la mort d'Albert II, toutefois, le fils ainé Rodolphe gouverna pour ses frères mineurs. Après son décès prématuré, en 1365, Albert III et Léopold III se sont partagé les affaires gouvernementales, ce que l'empereur Charles IV a confirmé dans un acte de concession.
Léopold était un grand promoteur des citoyens, dont à Meran et à Bozen en Tyrol, et il a pu renforcer la position hégémonique des Habsbourg dans la ville de Bâle. Néanmoins, peu après, il finira par trouver la mort pendant la bataille de Sempach contre la Confédération suisse en 1386, face au forces de Lucerne appuyées par des éléments provenant d'Uri, Schwytz et d'Unterwald.