Ibu kota berada di dekat kota yang sekarang menjadi kota Kokubu. Di zaman Sengoku dan zaman Edo, Ōsumi dikuasai klan Shimazu yang berkedudukan di provinsi tetangga Satsuma.
Walaupun Ōsumi sudah menjadi bagian dari prefektur Kagoshima, orang Ōsumi berbicara dengan dialek Ōsumi yang berbeda dengan dialek orang Kagoshima.