Murray werd geboren in Denholm, in de buurt van Hawick. Hoewel hij vlot van begrip en leergierig was, ging hij van school op veertienjarige leeftijd. Zijn ouders konden geen schoolgeld betalen. Toch werd hij op zeventienjarige leeftijd leraar op de plaatselijke middelbare school. In 1856 richtte hij met anderen de Hawick Archaeological Society op.
Vanwege het slechte klimaat in Schotland kreeg zijn ziekelijke vrouw het advies om naar het zuiden te gaan. In Londen werkte Murray bij een bank, terwijl hij in zijn vrije tijd bezig bleef met zijn academische belangstelling, waaronder taalkunde en etymologie. In 1869 trad Murray toe tot de Council of the Philological Society. Enkele jaren later schreef hij een werk over de dialecten in Zuid-Schotland, waarmee hij zijn reputatie vestigde.