John Karlsson blev 1878 extraordinarie notarie i Svea hovrätt, 1881 vice häradshövding och landskanslist i Västmanlands län och 1886 länsnotarie där.[7]
Karlsson var från 1899 borgmästare i Västerås stad. Han var ledamot av Sveriges riksdags första kammare 1909-1911 och från 1922, invald i Södermanlands och Västmanlands läns valkrets. Han var även ordförande i Västmanlands läns landsting.