У дорослому футболі дебютував 1966 року виступами за команду клубу «Данді Юнайтед», в якій провів дев'ять сезонів, взявши участь у 108 матчах чемпіонату.
Того ж року Грем Сунес, якого було щойно призначено граючим тренером провідного шотландського клубу «Глазго Рейнджерс», запросив Сміта приєднатися до свого тренерського штабу. Протягом наступих чотирьох років команда тричі ставала переможцем шотландської Прем'єр-ліги, тож коли навесні 1991 року Сунес залишив Глазго, прийнявши пропозицію очолити англійський «Ліверпуль», виконувачем обов'язків головного тренера «Рейнджерс» став його колишній помічник, Сміт. В такому статусі Волтер Сміт привів команду з Глазго до чергової перемоги у внутрішній першості, після чого був призначений її повноцінним головним тренером. Під орудою Сміта період домінування «Рейнджерс» у шотландському футболі продовжився — протягом наступних шости років команда незмінно перемогала у національній першості, а також здобула по три перемоги у розіграшах Кубка Шотландії і Кубка шотландської ліги. Восени 1997 року було оголошено, що по завершенні сезону 1997/98 Сміт залишить «Рейнджерс». Цей сезон став порівняно невдалим для команди — друге місце у чемпіонаті та програш у фіналі шотландського кубка.
«Евертон»
Після короткого відпочинку від футболу у червні 1998 року Волтер Сміт очолив команду англійського клубу «Евертон», який під орудою попереднього тренера Говарда Кендалла лише за рахунок кращої рызниці зміг залишити за собою місце в англійській Прем'єр-лізі.
Попри декларації керівництва клубу та й самого тренера про великі амбіції команди, вона продовжували протягом наступних років боротися за виживання в елітному англійському дивізіоні. Сміт не отримав обіцяного трансферного бюджету, натомість команда втратила декількох ключових гравців, таких як Данкан Фергюсон, проданих для підтримання фінансового стану клубу. Волтер Сміт пропрацював у ліверпульському клубі до березня 2002, коли його було звільнено після вильоту з тогорічного розіграшу Кубка Англії.
Збірна Шотландії
Після невдалого досвіду роботи з «Евертоном» Сміт деякий час відпочивав від футболу, після чого частину 2004 року провів у тренерському штабі «Манчестер Юнайтед», де допомагав знайомому по роботі зі збірною Шотландії Алексу Фергюсону.
А наприкінці 2004 року саме національна збірна Шотландії стала новим місцем роботи Сміта. Він змінив на посту головного тренера національної команди німця Берті Фогтса, який украй невдало розпочав кваліфікаціний раунд чемпоінату світу 2006, здобувши у трьох перших іграх відбору лише дві нічиї, домашню у грі проти збірної Словенії та гостьову у матчі проти аутсайдера групи, збірної Молдови, після якої його й було звільнено. При Волтері Сміті результати шотландців у групі дещо покращилися, зокрема вони спромоглися зіграти унічию з італійцями та здобути гостьову перемогу над прямими конкурентами норвежцями. Проте поразка у передостанньому турі від збірної збірної Білорусі перекреслила шанси шотландців пробитися на мундіаль.
Сміт залишився працювати зі збірною маючи завдання її виводу до фінальної частини чемпіонату Європи 2008. Кваліфікаційний турнір шотландці розпочали з трьох перемог, взявши гору у тому числі над діючими віце-чемпіонами світу збірною Франції. Лише в останній грі 2006 року збірна Шотландії уперше втратила очки, програвши збірній України. А на початку 2007 року Волтер Сміт оголосив про припинення роботи зі збірною, погодившись повернутися до клубної роботи з «Рейнджерс».
63-річний Сміт завершив тренерську кар'єру після сезону 2010/11, а на початку 2012 року «Рейнджерс» було оголошено банкрутом. Сміт зробив декілька спроб знайти фінансування для спасіння клубу, якому було присвячено значну частину його життя, проте безрезультатно. Згодом деякий час займав посади у керівництві клубу, який після перереєстрації розпочав виступи у четвертому за силою дивізіоні Шотландії.