David est le quatrième des onze enfants de Robert F. Kennedy et d'Ethel Skakel. Sa vie est marquée par les morts violentes de ses proches : l'année de sa naissance, ses grands-parents maternels décèdent dans un accident d'avion (1955). Il a huit ans quand son oncle le président des États-Unis John Fitzgerald Kennedy est assassiné. David est un enfant timide et sensible, il est également le plus proche et le préféré de son père.
Le 4 juin 1968, 11 jours avant son treizième anniversaire, David échappe de peu à la noyade, sauvé par son père, qui plonge dans l'eau pour le récupérer. Il assiste le lendemain à l'assassinat de son père en direct à la télévision, le soir du . David ne s'en remettra jamais et commencera à consommer de la drogue, peu de temps après.
En 1973, il est victime d'un grave accident de voiture, la jeep conduite par son frère aîné, Joseph Patrick Kennedy II, se renverse, laissant paralysée la petite amie de ce dernier. David a une fracture d'une vertèbre et s'adonne aux analgésiques, puis à l'héroïne.
James Kennedy (v. 1780 - v. 1831) et Maria Kennedy, parents de --- Patrick Kennedy (v. 1823 - 1858) ép. Bridget Murphy, parents de ------ Patrick Joseph Kennedy (1858 - 1929) ép. Mary Augusta Hickey (1857 - 1923), parents de Joseph Patrick Kennedy