Ab 1998 spielte Karnes erste Nebenrollen in US-amerikanischen Fernsehserien. Es folgten weitere Auftritte in Serien und gelegentlich auch in Kinofilmen. Schließlich wurde er von Shawn Ryan für die Fernsehserie The Shield engagiert, durch die er große Bekanntheit in seiner Rolle als beruflich erfolgreicher, aber häufig sozial inkompetent handelnder und sexuell frustrierter Detective Dutch Wagenbach erlangte. Nach dem Ende der Serie spielte Jay Karnes eine größere Nebenrolle in der US-Fernsehserie Sons of Anarchy von Kurt Sutter, einem der Hauptdrehbuchautoren von The Shield.
Karnes ist mit der Schauspielerin Julia Campbell verheiratet, mit der er zwei Kinder hat.
Während seiner Studienzeit an der University of Kansas freundete sich Karnes mit dem Mitstudenten David Rees Snell an, der wie er Ende der 1980er Jahre nach Los Angeles zog und ebenfalls eine Hauptrolle in der US-Fernsehserie The Shield spielte.
Auch in der Episode For Gedda der US-Fernsehserie CSI: Den Tätern auf der Spur trat er 2008 als Detective Wagenbach aus The Shield auf.