Kokkonen föddes i Idensalmi men bodde större delen av sitt liv i Villa Kokkonen i Träskända. Han tjänstgjorde i den finländska armén under andra världskriget och fick därefter sin utbildning vid Helsingfors universitet och Sibelius-Akademin, där han senare undervisade i komposition. Han hade många betydelsefulla uppdrag inom finländskt kulturliv, såsom ordförande för Finlands tonsättare och Teosto. Han såg som sin uppgift att höja musikundervisningens kvalitet, förbättra konstmusikens ställning och att verka för finländsk musik.
Han efterträdde Uuno Klami i den Finska Vetenskapsakademien.
Musik
Joonas Kokkonen 1959 då han komponerade sin första symfoni.
Trots att han studerade vid Sibelius-Akademin var han huvudsakligen självlärd som komponist.
Man brukar dela in hans kompositioner i tre perioder: Den neoklassisistiska perioden 1948–1958, tolvtonsperioden 1959–1966 och en neoromantisk period av fri tonalitet från 1967 och fram till hans bortgång. Hans tidiga musik består mest av kammarmusik, inklusive en pianotrio och en pianokvintett. Stilen är kontrapunktisk och influerad av Béla Bartók, men har också drag av renässans och barock. Under den andra perioden skrev han två av sina fyra symfonier. Men det var under den tredje perioden som de verk tillkom som skulle göra honom internationellt känd: de två sista symfonierna, ...durch einen Spiegel... för tolv solostränginstrument, hans Requiem och operan De sista frestelserna (1975) (Viimeiset kiusaukset), som handlar om väckelsepredikanten Paavo Ruotsalainens liv. Den sattes upp på Metropolitan i New York år 1983.
