Dilahirkan di Ohio dan menjalani pendidikan di Wooster College dan Princeton. Saat bekerja di Universitas Washington, St. Louis ia menemukan bahwa panjang gelombangsinar-X bertambah jika mengalami hamburan, dan pada 1923 ia bisa menerangkannya menurut teori kuantum cahaya. Pekerjaan ini telah meyakinkan orang akan kebenaran realitas foton; sebenarnya Compton sendirilah yang mengajukan kata "foton".
Setelah menerima Penghargaan Nobel dalam Fisika pada 1927, ia bekerja di Universitas Chicago untuk mempelajari sinar kosmik dan membantu menjelaskan bahwa sebenarnya sinar ini terdiri atas partikel yang bergerak cepat (ternyata sekarang partikel itu ialah inti atom, dan sebagian besar ialah proton) yang berputar dalam ruang dan bukan sinar gamma. Ia membuktikan hal ini dengan memperlihatkan bahwa intensitas sinar kosmik berubah terhadap lintang, dan hal ini hanya bisa diterima jika partikel itu ialah ion yang lintasannya dipengaruhi medan magnetbumi.