Leonhardt kom från en protestantisk familj[10]. Hans föräldrar spelade kammarmusik tillsammans och fadern, som var affärsman till yrket, satt i styrelsen för det lokala Bachsällskapet[11]. Då Gustav Leonhardt var 10 år gammal skaffade hans föräldrar en cembalo så att han kunde hjälpa till under familjens soaréer[12].
Andra världskriget medförde många svårigheter för familjen Leonhardt; de hade ingen elektricitet, inget vatten och ont om mat och under krigets sista år tvingades Gustav Leonhardt gömma sig för tyskarna som skulle ha tvingat honom att arbeta och under denna tid hade han ingen möjlighet att gå i skolan[13].
Leonhardt studerade orgel och cembalo 1947-1950 med Eduard Müller vid Schola Cantorum Basiliensis i Basel. År 1950 gjorde han sin debut som cembalist i Wien, där han studerade musikvetenskap. Han var professor i cembalo vid Musikhögskolan 1952-1955 och i Amsterdams konservatorium från 1954. Han var också kyrkoorganist. [14]
Under början av 1950-talet spelade han in sina första Bach-tolkningar[15] och det dröjde inte länge förrän han blev erkänd som en enastående Bach-tolkare[16].
År 1968 debuterade han som skådespelare i filmen Chronik der Anna Magdalena Bach, vilket också blev den enda filmen han kom att medverka i. Leonhardt innehade huvudrollen i denna film och han gestaltade kompositören Johann Sebastian Bach - och det var Leonhardt själv som framförde Bachs musik i filmen[17].
År 1971 åtog sig Leonhardt tillsammans med Nikolaus Harnoncourt att spela in alla Bachs kantater; ett projekt som avslutades först 19 år senare (1990)[18].
Leonhardt var känd från talrika turnéer och grammofoninspelningar samt som ledare för ensemblen Leonhardt Consort. [19]
Leonhardt invaldes som utländsk ledamot av Kungliga Musikaliska Akademien 1996.
Den 12 december2011 uppträdde Leonhardt i Paris och efter konserten tillkännagav han att detta på grund av sjukdom var hans sista konsert.[20].
Även om han var intresserad av finare viner och snabba bilar förblev Leonhardt en trogen protestant[21]. Ett år ombads Leonhardt att dirigera Matteuspassionen av Bach efter påsk, men det avböjde han skarpt då han ansåg att en passion inte skulle framföras efter Kristi uppståndelse[22].
Han var gift med den schweiziska violinisten Marie Amsler[23] som han fick tre döttrar tillsammans med[24].
Under de sista åren av sitt liv led Leonhardt av ohälsa[25] och i januari 2012 avled han vid 83 års ålder[26].