Si diplomò alla Thang Long High School, quindi al College of Arts. Autodidatta, studiò in Francia nel 1954-1955 sotto la guida di Robert Lopez, come studente non registrato all'Institut de Musicologie di Parigi.
La sua carriera musicale cominciò come cantante nel gruppo musicale Duc Huy, che nel 1943-44 girava nel paese eseguendo il proprio repertorio: importante la sua figura durante la resistenza vietnamita contro la Francia. Dopo che Hanoi venne controllata dai francesi, Phạm Duy si mosse a sud verso Saigon. Le sue canzoni vennero quindi censurate nelle aree controllate dal regime comunista.
Dopo la caduta di Saigon, Duy e la famiglia migrarono negli USA stabilendosi a Midway City, California. La sua musica venne proibita nel Vietnam tra il 1975 e il 2005, ma Duy continuò a proporla in tutto il mondo, con le canzoni dei nuovi rifugiati (tị nạn ca) e canzoni dei prigionieri (ngục ca).
Tornò in visita in Vietnam alla fine degli anni novanta e nei primi anni Duemila. Nel 2005 annunciò che, assieme al figlio Duy Quang (anch'egli cantante), sarebbe tornato in Vietnam per restarci: la notizia ebbe grande risalto e il governo iniziò a limitare i divieti di circolazione dei suoi brani. Dozzine di sue canzoni hanno quindi cominciato a essere diffuse nuovamente nel paese.
Carriera musicale
La sua carriera è divisa dallo stesso autore in alcuni fasi:
musica folk (Dân Ca), culminati nella pubblicazione nel 1968 dell'album, Folk Songs of Vietnam, (Folkways Records).