Saat menjadi pemain, Clarke bermain untuk St. Mirren dan Chelsea. Bersama Chelsea ia berhasil meraih tiga gelar juara. Clarke juga memperkuat timnas senior Skotlandia dari tahun 1987 hingga 1994.
Setelah pensiun sebagai pemain, ia memulai karier kepelatihan sepak bola. Pada tahun 1999, Clarke menjadi manajer ad interim Newcastle United untuk satu pertandingan, mengisi jabatan yang ditinggalkan Ruud Gullit yang mengundurkan diri.[2] Ia kemudian menjadi asisten pelatih dari periode 2004 hingga 2012 untuk Chelsea, West Ham United dan Liverpool. Pada bulan Juni 2012, Clarke menandatangi kontrak berdurasi dua tahun untuk menjadi manajer West Bromwich Albion.[3]
