Oltre ad essere uno dei fondatori, nonché leader e principale compositore, della progressive metal band statunitenseFates Warning, Jim suona anche: negli Arch/Matheos, progetto fondato assieme al cantante John Arch, al quale partecipano gli altri membri dei Fates Warning; negli OSI, duo da lui formato assieme al tastierista Kevin Moore (Chroma Key, ex membro dei Dream Theater), il quale suona e canta nel progetto; nei Tuesday The Sky progetto da lui fondato di rock ambient strumentale[1].
Come musicista solista, ha pubblicato tre album strumentali: il primo, First Impressions, con solo chitarra acustica, violino e violoncello[2]; il secondo, Away With Words, con chitarra acustica, violino, basso e batteria (suonata da Mark Zonder[3], all'epoca membro dei Fates Warning); l'ultimo, Halo Effect, un disco sperimentale basato su effetti di chitarra elettrica[4].
Con i Fates Warning ha registrato dodici album in studio, due dal vivo, una raccolta e cinque video. Dal 2003 Jim Matheos collabora con John Arch, partendo dal disco solista di quest'ultimo, l'EP A Twist of Fate e pubblicando un disco a nome del progetto, Sympathetic Resonance, nel 2011.
Ha anche partecipato, assieme a molti altri musicisti, al progetto del bassista Sean Malone, i Gordian Knot, gruppo che fonde progressive rock, heavy metal e jazz.