Op zijn twintigste speelde hij al hoofdrollen op West End. Zijn grote doorbraak bij het publiek was Private Lives van Noël Coward, in 1930. Datzelfde jaar, op 25 juli, trouwde hij ook met actrice Jill Esmond. Toen Private Lives naar Broadway ging, gingen Olivier en Esmond mee. Hij kreeg in Hollywood een contract bij RKO, maar zijn carrière kwam daar niet van de grond.
In 1935 speelde hij in Londen in John Gielguds productie van Romeo en Julia de rol van Romeo, en ook Mercutio op de avonden dat Gielgud zelf Romeo speelde. De critici waren lovend over de nieuwe ster, en vergeleken hem zelfs met Gielgud en Ralph Richardson, die toen door velen werden beschouwd als de beste acteurs van het moment.
Eind jaren dertig kreeg hij een stormachtige relatie met Vivien Leigh, waardoor hij uiteindelijk van Esmond scheidde. Leigh en Olivier trouwden op 31 augustus1940 en zouden twintig jaar bij elkaar blijven.
Tijdens de Tweede Wereldoorlog keerde hij terug naar Engeland, om daar te dienen bij de Royal Navy. Tijdens deze periode werd hij co-regisseur samen met Richardson bij de Old Vic.
In 1944 regisseerde, produceerde en speelde hij in de film Henry V, zijn meeste bejubelde werk. Hij kreeg hiervoor vele grote prijzen, waaronder een ere-Oscar. In 1947 bracht hij Hamlet naar het witte doek. Voor deze film ontving hij twee Oscars, voor Beste Acteur en Beste Film, en een Oscarnominatie voor Beste Regie. Datzelfde jaar werd hij geridderd en mocht hij zich Sir Laurence Olivier noemen.
In de jaren vijftig ging het minder goed met zijn carrière. Hij kende wel enkele successen, maar ook enige flops, waaronder The Prince and the Showgirl, waarin hij Marilyn Monroe regisseerde. Ook met zijn relatie met Leigh ging het minder.
In 1956 ging hij een heel andere richting op, in de theaterproductie van The Entertainer van John Osborne. De rol van musichallster Archie Rice was anders dan zijn voorgaande rollen. Deze lijn zette hij door, te beginnen met de filmversie van The Entertainer. Een andere film uit die periode was Spartacus, waarin hij de wrede Romeinse generaal Crassus speelde.
In 1962 werd Olivier de artistiek directeur van het National Theatre van Groot-Brittannië. Hij zou dit tot 1973 blijven. In 1970 werd Laurence Olivier life peer, wat betekent dat hij een niet-erfelijke adellijke titel krijgt, voor zijn verdiensten in de kunsten. Laurence Olivier was de eerste acteur die deze onderscheiding kreeg. Vanaf toen mocht hij de titel Baron Olivier, of Brighton in the County of Sussex, voeren en plaatsnemen in het Hogerhuis. In 1981 kreeg hij the Order of Merit.
In 1980 had hij een hoofdrol in The Jazz Singer, samen met Neil Diamond. In 1981 speelde Laurence Olivier een belangrijke rol in de serie Brideshead Revisited.
In 1974 speelde hij zijn laatste toneelrol. Zijn laatste filmrol, War Requiem, speelde hij in 1988. Laurence Olivier stierf in Steyning, West Sussex, aan een neuromusculaire afwijking en kanker. Hij werd 82 jaar oud. Olivier werd begraven in Poets' Corner in Westminster Abbey.
In 2004, vijftien jaar na zijn dood, speelde Olivier een belangrijke rol in de film Sky Captain and the World of Tomorrow, waarbij archiefmateriaal van hem werd verwerkt in de film, zodat het net leek alsof hij de vijand speelde.