Arsitek Capitol David Lynn bertindak sebagai pimpinan proyek, dan mempercayakan pembangunan kepada biro arsitektur Pierson & Wilson dari Washington, D.C. untuk mendesain gedung, dibantu Alexander Buel Trowbridge sebagai arsitek konsultan. Kontrak menetapkan penyelesaian gedung sebelum 24 Juni 1938, namun gedung ini baru siap digunakan pada 2 Desember 1938. Divisi Kartu Katalog pindah ke gedung ini pada tanggal 12 Desember, dan gedung ini dibuka untuk umum sejak 3 Januari 1939.
Gedung ini bertingkat lima. Lantai 5 dibuat sedikit lebih kecil daripada keempat lantai di bawahnya. Total buku yang bisa ditampung sekitar 10 juta buku. Total panjang semua rak yang ada di gedung ini mencapai 289,7 kilometer, sangat jauh melebihi total panjang rak di Gedung Thomas Jefferson yang hanya 167,4 km.
Dalam upacara resmi peringatan ulang tahun Thomas Jefferson di Jefferson Memorial, 13 April1976, Presiden Gerald Ford mengesahkan undang-undang yang mengganti nama Gedung Paviliun Perpustakaan Kongres menjadi Gedung Thomas Jefferson. Gedung ini baru dinamakan Gedung John Adams sejak 13 Juni1980 dengan maksud mengenang Presiden John Adams yang menandatangani akta pendirian Perpustakaan Kongres pada tahun 1800.