Ruska lahir di Heidelberg. Ia dididik di Technische Universität München antara 1925-1927 dan kemudian memasuki Technische Universität Berlin, di mana menyatakan bahwa mikroskop yang menggunakan elektron, dengan gelombang 1.000 lebih pendek daripada cahaya, dapat menghasilkan gambar objek yang lebih jelas daripada mikroskop yang menggunakan cahaya, di mana magnifikasinya dibatasi oleh ukuran panjang gelombang. Pada tahun 1931, ia membuat sebuah lensa elektron dan menggunakannya untuk membuat mikroskop elektron pada tahun 1933.
Ruska bekerja di Siemens-Reiniger-Werke AG sebagai insinyur riset antara 1937-1955 lalu bertugas sebagai direktur Lembaga Mikroskopi Elektron Lembaga Fritz Haber from 1955 to 1972. Bersamaan dengan itu, Ruska bertugas di lembaga itu sebagai profesor di Universitas Teknik Berlin, dari tahun 1957 hingga pensiunnya pada tahun 1972. Pada tahun 1986, ia memenangkan separuh Penghargaan Nobel dalam Fisika untuk penemuannya pada optik elektron; Gerd Karl Binnig dan Heinrich Rohrer memenangkan seperempatnya untuk rancangan scanning tunneling microscope mereka. Ia meninggal di Berlin Barat pada tahun 1988.