Han började sin karriär inom ishockeyn som tränare för Regina Pats i juniorligan WHL mellan 1979 och 1980, innan han gick vidare och blev tränare för Washington Capitals primära samarbetspartnerHershey Bears i AHL. Där blev det dock bara ett år innan "moderorganisationen" valde att anställa honom som sin tränare. Han tog Capitals till slutspel i sju säsonger av 8½ säsonger. Det räckte dock som längst till andra rundan tre gånger (New York Islanders vann med 4–1 i matcher, New York Rangers vann med 4–2 i matcher och New Jersey Devils vann med 4–3 i matcher). Han lyckades också leda Capitals till 107 poäng och 50 vinster i grundserien för säsong 1985–1986, det var Capitals bästa säsong sedan bildandet av organisationen. Rekordet stod sig i 21 säsonger, när Bruce Boudreau ledde laget till lika många vinster men en poäng mer för säsong 2008–2009. I mitten av säsong 1989–1990 fick han sparken på grund av dåliga resultat med laget och ersattes av sin bror Terry Murray.[3]
Den 13 juli 1990 blev Murray anställd som ny general manager och tränare för Detroit Red Wings, där han ledde de till tre raka slutspel, dock som längst till en andra runda (Chicago Blackhawks vann matchserien med 4–0). Den 26 maj 1993 gav ägaren av Red Wings, Michael Ilitch, Sr. ett ultimatum till Murray om att antingen agera tränare eller general manager för laget. Murray valde det senare och fick avgå som tränare dagen efter.[4] Ersättaren blev legendaren och den då sexfaldiga Stanley Cup-mästaren Scotty Bowman.[5] Den 3 juni 1994 blev Murray sparkad som general manager för Red Wings.
Den 1 augusti 1994 blev han anställd som general manager för Florida Panthers.[6] Den 24 november 1997 valde Panthers och Murray sparka tränaren Doug MacLean efter en dålig start på säsongen 1997–1998 och utsåg sig själv till ersättaren.[7] Under sommaren 1998 valde Murray kliva av som tränare och utsåg igen sin bror Terry Murray, till ny tränare för Panthers.[8] Den 28 december 2000 beslutade Panthers dåvarande ägare Wayne Huizenga att göra rent i lagledningen och i staben och sparkade båda två bröderna Murray.[9]
Den 26 maj 2001 meddelade Pierre Gauthier som var då general manager för Anaheim Mighty Ducks, att man hade anställt Murray som tränare för laget.[10] Under sommaren 2002 fick Gauthier sparken som lagets general manager efter att Mighty Ducks missade slutspelet för tredje året i rad och man utsåg Murray som ersättaren. Murray hoppade då av som tränare och Mike Babcock ersatte honom på den positionen.[11] Första säsongen som general manager för Mighty Ducks, resulterade med spel i Stanley Cup-finalen mot Devils, som dock blev för svåra och vann med 4–3 i matcher. Efterföljande säsong så var det en rejäl baksmälla från den förlorade finalen året innan och kunde inte ens ta sig till slutspel. Den 4 juni 2004 avgick Murray som general manager för Mighty Ducks.[12]
Den 9 juni samma år blev det offentligt att Murray tog över tränarrollen i Ottawa Senators efter att Jacques Martin fick sparken tidigare under året.[13] Säsongen 2006–2007 blev den bästa för Murray som tränare, när han tog Senators till en Stanley Cup–final, där blev dock hans tidigare lag Ducks för svåra och vann finalen med 4–1 i matcher. Den 17 juni 2007 valde Senators att sparka deras dåvarande general manager John Muckler[14] och ersatte honom med Murray.[15] Den 16 juni 2009 utsågs Murray av Senators ägare Eugene Melnyk, till executive vicepresident för Senators ägarbolag Senators Sports & Entertainment.[16] Den 12 februari 2010 meddelades det att Senators hade förlängt kontraktet med Murray om en ytterligare säsong inom organisationen.[17] Den 8 april 2011 blev det offentligt att Murray hade förlängt sitt kontrakt med Senators i ytterligare tre säsonger.[18] Den 13 januari 2014 meddelade Senators att man hade förlängt med Murray, där han ska vara general manager i ytterligare två år och sen vid 2016 lämna sin roll som general manager och vara rådgivare åt laget fram till 2018. Organisationen utsåg honom också till president för hockeyverksamheten[19][20][21], en roll som han lämnade 2016.
