Pada 1992, Völler bergabung dengan Olympique Marseille, memenangkan Champions League pada tahun 1993. Kembali ke Jerman, ia bermain untuk Bayer Leverkusen pada 1994, di mana ia mengakhiri kariernya sebagai pemain pada 1996 dan memulai karier sebagai manajer klub tersebut.
Karier klub
Völler bergabung dengan tim Bundesliga, Werder Bremen pada 1982, dan meraih kesempatan pertamanya untuk tampil membela Jerman pada tahun yang sama. Setelah musim yang sukses, di mana ia menjadi pencetak gol terbanyak Bundesliga, klub asing menjadi tertarik padanya, dan pada tahun 1987 ia pindah ke A.S. Roma, di mana ia menjadi andalan tim dan mendapat julukan 'il Tedesco Volante' (Jerman terbang). Ia memenangkan Piala Italia pada tahun 1991, dan merupakan pencetak gol terbanyak klub itu pada beberapa kesempatan.
Pada 1992, Roma memutuskan untuk menjual Völler ke Olympique Marseille, di mana ia dimaksudkan sebagai pengganti untuk striker superstar Jean-Pierre Papin. Yang juga memungkinkan Roma untuk menambahkan Claudio Caniggia sebagai pemain asing ketiga dalam skuatnya, sehingga kedua belah pihak senang membiarkan kesepakatan itu.
Di Marseille, Völler sukses mempersembahkan gelar bergengsi yakni piala Liga Champions UEFA pada musim pertamanya, tahun 1993.
Setelah Marseille terlibat kasus penyuapan dan dicabut gelar liga 1993, Völler kembali ke Jerman dan bergabung dengan Bayer Leverkusen dan mengakhiri karier bermain disana pada tahun 1996.
Tim nasional
Völler telah bermain 90 kali untuk tim nasional, mencetak 47 gol, termasuk 8 di pertandingan putaran final Piala Dunia. Dia adalah anggota dari tim yang memenangkan Piala Dunia 1990. Dia mencetak 3 gol dalam turnamen, termasuk satu gol untuk kemenangan 4-1 atas Yugoslavia, dan kemudian dua gol kala melawan Uni Emirat Arab dalam kemenangan 5-1. Selama pertandingan putaran kedua melawan Belanda, Völler dan pemain Belanda, Frank Rijkaard diusir dari lapangan setelah insiden meludah.
Völler juga bermain di Piala Eropa 1984, ia mencetak dua gol dalam pertandingan melawan Rumania di babak grup, Jerman menang 2-1 tetapi kalah melawan Spanyol dalam pertandingan berikutnya, membawa Jerman Barat tersingkir ketika mereka hanya membutuhkan hasil seri.
Pada Piala Dunia 1986, Völler mencetak gol penyama kedudukan Jerman Barat dalam kemenangan Jerman 2-1 atas Skotlandia di babak penyisihan grup. Dia menciptakan gol pada menit terakhir melawan Prancis di semi final untuk menyegel kemenangan 2-0 dan di final itu sendiri gol pada menit ke-80 membuat skor menjadi imbang 2-2 melawan Argentina. Namun Jerman Barat harus kalah 3-2 pada laga final itu saat Jorge Burruchaga mencetak gol pamungkas dimenit 83.
Jerman Barat menjadi tuan rumah Piala Eropa 1988, dan Völler mencetak dua gol dalam kemenangan 2-0 atas Spanyol, namun tuan rumah kalah dari Belanda di semi final yang akhirnya menjadi juara.
Dia dipilih lagi untuk bermain di Piala Eropa 1992 tetapi dipulangkan ketika ia mengalami cedera pada laga pembuka dengan CIS.
Pada Piala Dunia 1994 Völler tidak bermain sebagai starter untuk semua 3 pertandingan grup, dan digantikan Jürgen Klinsmann dan Karl-Heinz Riedle yang mencetak 5 gol di antara mereka. Dia hanya bermain sebagai pengganti dalam satu penampilan di babak grup. Dia bermain sebagai starter pada babak kedua saat melawan Belgia dan mencetak dua gol dalam kemenangan 3-2.
Karier pelatih
Setelah Piala Eropa 2000 yang mengecewakan di bawah pimpinan manajer Erich Ribbeck, Deutscher Fußball-Bund menunjuk Völler sebagai manajer baru, walaupun ia tidak memiliki izin melatih pada saat itu. Pada awalnya hanya direncanakan sebagai manajer selama setahun, kontraknya diperpanjang ketika calon penggantinya, Christoph Daum, terlibat dalam skandal obat-obatan terlarang. Ia memimpin timnya secara mengejutkan ke final Piala Dunia 2002. Setelah kalah dalam babak pertama dalam Piala Eropa 2004, ia mengundurkan diri dari jabatannya.
Setelah itu, Völler melatih tim A.S. Roma secara singkat pada 2004. Dipilih untuk melatih sebagai pengganti pelatih Cesare Prandelli, ia mengundurkan diri setelah serangkaian kekalahan dan ketidakcocokan dengan para pemain, terutama Antonio Cassano.
Kembali ke Bayer Leverkusen, Völler menjadi manajer sementara pada 16 September2005 setelah manajer Klaus Augenthaler dipecat. Völler bertahan sampai digantikan oleh Michael Skibbe bulan Oktober tahun itu juga.
Völler sangat populer di Jerman. Bahkan ketika timnya banyak mengalami kekalahan ia tidak pernah kehilangan dukungan dari rakyat Jerman, tidak seperti pendahulunya Berti Vogts yang sering dicemooh walaupun pada saat timnya menang. Völler dijuluki "Tante Käthe" karena potongan rambutnya yang mirip ibu-ibu (lihat foto). Selama Piala Dunia 2002 penggemarnya sering menyanyikan lagu "Es gibt nur ein' Rudi Völler!" ("Hanya ada satu Rudi Völler!") dengan irama lagu Guantanamera. Ia bahkan dimaafkan ketika ia naik pitam dan memaki-maki pembawa acara Waldemar Hartman dengan bahasa kasar di televisi pada bulan September 2003 ketika ia membela timnya dari kritik pers.