Dopo il diploma di pianoforte, conseguito al conservatorio della sua città natale, alla fine degli anni '50 si trasferì a Rio de Janeiro e cominciò a suonare nei locali, con il suo personalissimo stile "melange" di bossanova e jazz. In quel periodo ebbe modo di conoscere e collaborare con molti artisti brasiliani, tra i quali Antônio Carlos Jobim e João Gilberto, assorbendo nel contempo l'influenza dei molti grandi jazzisti che venivano in tournée dagli Stati Uniti.
Nel 1961 Mendes formò il suo primo gruppo, il Sexteto Bossa Rio e incise Dance Moderno, effettuando tournée in Europa e negli Stati Uniti. Nel 1964 si trasferì definitivamente a Los Angeles e con il suo nuovo gruppo, i Brazil '65, firmò un contratto con la Capitol Records e in seguito con la Atlantic Records. Tuttavia i risultati di vendita non furono brillanti e Mendes stracciò i contratti precedenti, siglando un nuovo accordo con la A&M, con la quale registrò Sergio Mendes and Brasil '66; il disco, pubblicato in tutto il mondo, ebbe grande successo, soprattutto grazie alla trascinante Mas que nada (scritta da Jorge Ben) e alla bravura delle due vocalist Lani Hall e Bibi Vogel. Mendes continuò in seguito a incidere album con esiti alterni e fu soltanto nel 1983, con Never Gonna Let You Go, che bissò il successo di Sergio Mendes and Brasil '66.
Fra le tante gratificazioni professionali che Mendes poteva vantare, vanno ricordate le sue performance alla Casa Bianca per i presidenti Lyndon B. Johnson e Richard Nixon.
Durante l'estate 2008 tornò a essere trasmesso da tutte le radio grazie al singolo Funky Bahia (tratto dall'ultimo album Encanto) nato anche dalla collaborazione con Will.i.am e Siedah Garrett.
Nel 2009 Mendes collaborò all'album di JovanottiSafari, partecipando come arrangiatore e pianista al brano Punto, sesto singolo estratto dal disco.
