Nacque a Madrid da una famiglia dell'alta nobiltà spagnola (Grandi di Spagna). Dal ramo materno, era cugino del marchese Alfonso de Portago, pilota automobilistico che morì nell'ultima Mille Miglia competitiva. Per assecondare i desideri del padre, fervente sostenitore del generale Francisco Franco, si arruolò a soli 16 anni, in piena guerra civile spagnola, tra i sostenitori del "caudillo", ma alla fine degli anni quaranta, divenuto critico e insofferente al regime, abbandonò il servizio diplomatico scegliendo di vivere all'estero. Nel 1953 pubblicò un primo romanzo, Les Ramblas finissent à la mer (Le ramblas finiscono in mare), che catturò l'attenzione della censura militare spagnola, la quale gli vietò di rientrare in Spagna. Vilallonga proseguì la carriera scrivendo per vari giornali come corrispondente estero, contando sulle sue molte e altolocate amicizie in diversi paesi. Oltre a molti romanzi pubblicati in francese e poi anche in spagnolo, le sue amicizie lo coinvolsero in ruoli cinematografici. Il grande pubblico internazionale lo conosce per il ruolo del miliardario brasiliano nel film Colazione da Tiffany (1961), a fianco di Audrey Hepburn. In seguito lavorerà in diversi paesi come la Francia, di cui parlava correntemente la lingua, e in Italia, interpretando spesso il ruolo dell'affarista senza scrupoli. Nel 1962 prese parte al film Cleo dalle 5 alle 7 di Agnès Varda.
Ebbe un'amicizia con Federico Fellini e pubblicò Fellini: ho sognato Anita Ekberg, il cui contenuto riguarda una sua intervista del 1963, anno in cui partecipò anche al film Il delitto Dupré, affiancando Marina Vlady. In seguito Fellini gli diede una parte in Giulietta degli spiriti (1965). La sua fama di donnaiolo e playboy non gli procurò una larga simpatia popolare, però negli ambienti dell'alta borghesia poté vantare molte amicizie tra cui quella con il re Juan Carlos I di Spagna. È stato sposato tre volte, anche se gli vengono attribuite altre due mogli, ed ebbe una relazione con la bella attrice francese Michèle Girardon, che lasciò per sposare un'altra donna. Poco tempo dopo la Girardon si suicidò. Vilallonga morì nel 2007 per cause naturali nell'isola di Maiorca. Il re Juan Carlos dichiarò il suo rammarico per la perdita dell'amico.
