«...Vent'anni: un libro informe che le dita si compiaccion talora di sfogliare, libro di luci ed ombre, la mia vita. Pagine dense e vuote. Gioventù vi ha vergato ineffabile il suo mondo. Vagheggia il libro un titolo: virtù.»
Nato a Bisceglie da Michele Cosmai, professore di matematica, e da Teresa Araneo, di nobile famiglia lucana, studia Lettere Classiche presso l'Ateneo di Bari, laureandosi con una tesi sulle denominazioni dell'agro di Bisceglie; nel 1949 è assunto come professore incaricato presso il Liceo Scientifico parificato di Bisceglie, mentre il quadriennio successivo (1950-1954) lo vede docente nella Scuola Media Statale di Troia (Foggia). Abilitatosi all'insegnamento di lettere nella scuola media, torna a Bisceglie nell'Istituto "Cesare Battisti", dove resta ininterrottamente dall'anno scolastico 1954-55 al 1981-82.
Nel 1960 pubblica Storia di Bisceglie, scritta in collaborazione con Giovanni Bruni. L'opera è la prima di una lunga serie di volumi di ambientazione locale: Bisceglie nella storia e nell'arte (1968), Proverbi biscegliesi (1974), Bisceglie guida ai monumenti (1976), la curatela dei Versi dialettali biscegliesi di Riccardo Monterisi (1976), Leggende e tradizioni biscegliesi (1980), Il dialetto biscegliese (1984), i bozzetti riuniti in Luci ed ombra di vita biscegliese (1986), Bisceglie turistica (1989), Cognomi biscegliesi (1990), I canti del Palazzuolo (1990), Antichi toponimi di Puglia e Basilicata (1991), che gli vale critiche positive su scala nazionale, Toponimi Biscegliesi (1994), fino alla silloge di articoli curata in Bisceglie nella Preistoria (2002).
Dagli anni '50 inizia a scrivere per le testate locali e tematiche legate a Bisceglie. Negli anni '80 collabora con la Gazzetta del Mezzogiorno prima come corrispondente locale per curare dal 1988 al 1995 alcune rubriche di linguistica e toponomastica meridionale. All'impegno storiografico si accompagna l'interesse per la linguistica che, dapprima circoscritta al livello locale, ben presto lo porta a toccare temi di ben più vasta portata.
Nel 1974 pubblica un originale Corpus di crittografie mnemoniche, con prefazione di Umberto Eco. Tale sodalizio porta Cosmai a pubblicare nel 1977 un corpus di crittografie sulla rivista di Eco, Versus, con prefazione dello stesso semiologo. Nello stesso ambito di studi, nel 1983 pubblica il volume Italiano a doppio senso.
Nel 1986, in considerazione dell'impegno prodigato per la cultura pugliese, Mario Cosmai è nominato membro ad honorem della Società di Storia Patria della Puglia.