A biblioteca nasceu juntamente com a própria SMAM, no final da década de 1970. Tinha o nome de "Banco de Bibliografia e Documentação Técnica", utilizado por estudiosos e por pesquisadores da Supervisão do Meio Ambiente. Ocupava um espaço de 12 mil m² no então sede da secretaria, na Avenida Borges de Medeiros, n.° 2244.
No início de 1985, contudo, foi transferida para o novo endereço da SMAM, na Avenida Carlos Gomes, n.° 2120, no bairro Três Figueiras, onde até hoje permanece funcionando em sua área de 103 m². No final daquele mesmo ano, com a criação da Biblioteca Maria Dinorah, surgiu a Equipe de Bibliotecas, vinculada ao Centro de Informação e Educação Ambiental (CEIA), que passou a administrar as duas bibliotecas.
Em setembro de 1989, por decreto, a biblioteca com sede na SMAM passou a ser denominada Biblioteca Jornalista Roberto Eduardo Xavier, em homenagem ao primeiro secretário do órgão. Mais tarde, em 1997, recebeu parte do acervo particular do falecido jornalista, doado por sua viúva.
Em junho de 1994, a Biblioteca se tornou pioneira no uso da Internet dentro da Instituição e a adotar um sistema automatizado de base de dados entre as bibliotecas da prefeitura municipal.
Em agosto de 2001, funcionou provisoriamente em um prédio alugado, em função da reconstrução da sede da SMAM.
No início de 2003, lançou seu catálogo online por autor, título e assunto. Logo em seguida, transferiu-se para as novas instalações da SMAM, no mesmo endereço na Avenida Carlos Gomes, passando a contar com 295 m² de área útil.
O acervo
Em 2006, a Biblioteca dispunha em seu acervo 12.220 livros, 739 títulos de periódicos, 3.527 folhetos, 239 mapas, 1.530 fotografias, 301 fitas de vídeo, 82 CD ROMs e 59 discos sonoros, bem como 3.555 artigos de periódicos e 1.088 atos legais indexados.