Ayer est né dans le quartier St. John's Wood de Londres au sein d'une famille aisée, et a suivi ses premières années d'école à l'Ascham St Vincent's School de Eastbourne à 80 km au sud de Londres, puis à la célèbre école d'Eton pour ses études secondaires. C'est à Eton qu'Ayer se fit remarquer pour son audace caractéristique et sa précocité[1]. Pour ses examens terminaux à Eton, Ayer arriva second de sa promotion, et premier en humanités. Dans sa dernière année, en tant que membre du conseil des élèves senior, il fit campagne sans succès pour l'abolition des punitions corporelles dans l'école. À sa sortie d'Eton, il obtint une bourse d'études en humanités au Christ Church College de l'Université d'Oxford.
Son caractère était celui d'un extraverti s'adaptant à tous les milieux sociaux, si bien qu'il fut marié quatre fois, notamment à la journaliste Dee Wells[3] et à l'héritière Vanessa Salmon (devenant ainsi le beau-père de la future célébrité Nigella Lawson)[4]. Il possédait selon ses propres termes un « appétit pour la vie », qualité qu'il estimait par-dessus tout, et ainsi aimait danser, participer à de nombreuses fêtes, et avait la réputation d'être un coureur de jupons[4],[5]. Il était aussi un passionné de sport : il avait joué au rugby à Eton, était un joueur de cricket de bon niveau, et un supporteur fidèle de l'équipe de football de Tottenham. Pour un universitaire, Ayer était en son temps une personnalité exceptionnellement douée pour se faire et pour entretenir des relations dans la haute société et l'establishment. Une anecdote révélatrice de son caractère est la suivante :
«
Ayer — petit, menu, frêle comme un moineau, et âgé alors de 77 ans — amusait un groupe de mannequins lors d'une fête new-yorkaise, au moment où une jeune femme fit irruption dans la pièce en s'écriant qu'une de ses amies était en train d'être agressée dans une chambre à coucher toute proche. L'agresseur et l'agressée se révélèrent être Mike Tyson et Naomi Campbell. « Est-ce que tu sais qui... je suis ? » demanda Tyson incrédule lorsqu'Ayer l'exhorta à ce qu'il cesse, « Je suis le champion du monde des poids lourds — Et moi je suis l'ancien professeur Wykeham de logique » répondit Ayer poliment. « Nous sommes tous deux éminents dans notre domaine. Je vous propose que nous parlions de tout cela comme des hommes rationnels[6]. »
Son œuvre la plus célèbre est Langage, vérité et logique : écrit à l'âge de 24 ans, ce livre eut une grande importance pour faire connaitre les idées du Cercle de Vienne au monde anglophone.