Rilsk es menciona per primer cop el 1152 com una localitat important dins el Principat de Nóvgorod-Seversk. El nom deriva de l'arrel rit que en eslau vol dir cavar, rilo també vol dir "musell de porc", que és la imatge de l'escut de la ciutat. L'església ortodoxa russa associa el nom del lloc a Sant Joan de Rila, que és el sant patró de la ciutat, i que va viure a Bulgària. Tot de monjos búlgars van establir-s'hi amb les relíquies del sant i hi construïren un monestir a partir del qual la ciutat va prendre el nom actual.