Le groupe est formé en 2008 par Frankie McLaughlin (chant) et Johnny McKelvey (basse), The Rumjacks combinent plusieurs styles musicaux, notamment le punk rock et le folk celtique. Le groupe sort deux EP en 2009 – Hung, Drawn and Portered, puis Sound as a Pound[1]. Le groupe est composé de 5 membres, McLaughlin au chant, McKelvey à la basse, Gabriel Whitbourne à la guitare, Anthony Matters à la batterie et Adam Kenny à la mandoline, banjo ou bouzouki. Ensemble, ils publient trois albums : Gangs of New Holland (2010), Sober and Godless (2015), et Sleeping Rough (2016).
Le groupe se fait connaître mondialement grâce à leur single An Irish Pub Song, qui compte plus de 51 millions de vues sur YouTube[2].
En plus de leurs concerts en Australie[3], The Rumjacks effectuent deux tournées en Europe. La première tournée, en 2015, s'est entre autres arrêtée au festival Jarocin en Pologne et au Boomtown Fair, au Royaume-Uni. Une seconde tournée est organisée en 2016, avec des dates en Pologne, Allemagne, Italie et Pays-Bas notamment[4]. Fin 2016, le groupe annonce que sa première tournée américaine commencera en .
Le rythme des tournées se montrant trop éprouvant pour Anthony Matters, il quitte le groupe fin 2016. La batterie est reprise par Pietro Della Sala.
Le , le groupe publie sur les réseaux sociaux leur décision de se séparer du chanteur et fondateur du groupe Frankie McLaughlin. La décision fait suite à des faits de violences de McLaughlin envers des membres de l'équipe technique du groupe et du public au cours de la tournée du groupe [6].
Le , le groupe annonce son premier single Sainted Millions avec Mike Rivkees au chant et à l'écriture. Ce single préfigure la sortie du nouvel album Hestia, annoncé pour le [7]
Le 11 février 2022, le groupe sort un nouvel EP rassemblant huit morceaux intitulé "Brass For Gold"[1]