Nel 1985 la band incide il suo primo brano The Cave all'interno della compilation di vari gruppi ska punkMash It Up, e nel 1989 pubblica, con l'etichetta discografica indipendente Taang! Records, il suo primo album Devil's Night Out. Sebbene criticato da alcuni fan per il leggero spostamento musicale verso l'hardcore punk il disco ottiene un discreto successo.
All'album fanno seguito la pubblicazione, sempre con la stessa etichetta, di alcuni EP (come, Where'd You Go? contenente diverse cover come Sweet Emotion degli Aerosmith, Enter Sandman dei Metallica e Ain't Talkin di Van Halen) nonché, nel 1991 il loro successivo album More Noise and Other Disturbances. Il successo di vendite di quest'ultimo lavoro, unitamente all'esplosione dei dissidi con la casa discografica, spingono la band nel 1993 a firmare un contratto con la major Mercury.