In gran parte si formò da autodidatta, coltivando eguali interessi sia per la musica che per la filosofia, e pervenne piuttosto tardi ad una scelta di campo. Furono sostanzialmente gli incoraggiamenti di Charles Ives, che lo condussero a studiare composizione presso l'università di Harvard (Massachusetts), dove ebbe come insegnanti Walter Piston e Gustav Holst. Successivamente si recò a Parigi dove studiò con Nadia Boulanger. Rientrò negli Stati Uniti nel 1935 e divenne direttore della compagnia di ballettoBallet Caravan.
I primi lavori di Elliott Carter denotano influenze di Stravinskij e Paul Hindemith, e possono ascriversi come appartenenti all'estetica neoclassica. Carter fece lunghi e severi studi contrappuntistici, dalla polifonia medievale fino al linguaggio stravinskiano, e questo si nota particolarmente nei lavori giovanili, come ad esempio nel ballettoPocohontas (1938-1939). Alcune sue musiche del periodo della seconda guerra mondiale sono chiaramente diatoniche, e si riportano ad un lirismo melodico che può far ricordare quello di autori come Samuel Barber. Curiosamente, Carter abbandonò il neoclassicismo più o meno nello stesso momento in cui l'abbandonò pure Stravinskij.
La sua musica successiva al 1950 è tipicamente atonale e ritmicamente molto complessa (fu proprio a proposito della musica di Carter che venne coniato il termine ‘'metric modulation'’ per descrivere i frequenti cambiamenti di tempo nei suoi lavori).
Symphonia: Sum Fluxae Pretium Spei (1993-1996) è il suo più grande lavoro orchestrale, di struttura molto complessa ma affascinante nel suo continuo contrastare di livelli timbrici strumentali, dai delicati assolo dei fiati fino ai laceranti fortissimo con ottoni e percussioni in primo piano.
Il suo personale sistema compositivo (volto spesso a far derivare tutte le altezze di un brano da un solo accordo "chiave", o da una serie di accordi) non impedisce a Carter di muoversi in ambiti decisamente lirici, né di garantire una perfetta intelligibilità del testo cantato, talora anche in modo decisamente "semplice". Del resto, nonostante il suo usuale rigore compositivo, Carter occasionalmente sceglie di "deviare", di creare delle eccezioni al suo proprio sistema; contrariamente ad autori come Anton Webern, nella musica di Carter non è sempre possibile spiegare e giustificare scientificamente ogni nota.
La maggior parte della sua musica è pubblicata da G. Schirmer Inc. (fino al 1982), e da Boosey & Hawkes (dopo il 1982).