Diplomatosi alla Wittenberg University di Springfield e alla Madison Heights High School di Anderson (1966), si trasferì in seguito a New York, dove completò con successo un master nel 1972 alla Columbia University. Luterano convinto e praticante[2], si sposò con Rebecca Fulton Linn ed ebbe due figlie, Emma e Hannah.
Specializzato in ruoli negativi di militari, medici, politicanti corrotti o di padri severi, alto, dal volto scavato e l'espressione accigliata, fu un apprezzato caratterista che partecipò, in un trentennio di carriera, a oltre un centinaio di produzioni. Lo si ricorda per esser stato il Segretario alla Difesa in Independence Day (1996), ma prima ancora in qualità di antagonista di Marisa Tomei in Mio cugino Vincenzo (1991) e di Al Pacino in Scent of a Woman - Profumo di donna (1992), interpretazioni per le quali i suoi due colleghi vennero premiati con il Premio Oscar. Sul piccolo schermo lavorò nelle due più longeve produzione della televisione, Sentieri e Così gira il mondo, e in diversi episodi di Law & Order - I due volti della giustizia. Dal 2009 al 2013 fece parte del cast della serie televisiva White Collar. Appare anche nel video di Madonna della canzone Bad Girl insieme a Christopher Walken oltre che chiaramente alla pop star americana.
È deceduto il 21 marzo del 2014 all'età di 65 anni nella sua casa di South Orange (New Jersey) a causa di un melanoma contro cui lottava dal 1992. James Rebhorn ha scritto personalmente il suo necrologio.
Nelle versioni in italiano delle opere in cui ha recitato, James Rebhorn è stato doppiato da:
Michele Kalamera in Ho trovato un milione di dollari, Il talento di Mr. Ripley, The Last Shot, Anamorph - I ritratti del serial killer, The Box - C'è un regalo per te..., Real Steel, Blue Bloods
Pietro Biondi in Ombre e nebbia, Scent of a Woman - Profumo di donna, L'Albatross - Oltre la tempesta, Law & Order - I due volti della giustizia (ep. 11x14), Pluto Nash
Sandro Iovino in Silkwood, Squadra Emergenza, Seinfeld, White Collar
Gianni Giuliano in Mio cugino Vincenzo, Independence Day, The Good Wife, Enlightened - La nuova me
Oliviero Dinelli in Law & Order - I due volti della giustizia (ep. 5x12, 10x07, 12x20, 18x09), Bernard & Doris - Complici amici, L'incredibile vita di Timothy Green
Sergio Di Giulio in Basic Instinct, The Practice - Professione avvocati, Baby Mama
Luciano Roffi in White Sands - Tracce nella sabbia, Don McKay - Il momento della verità
Antonio Sanna in A proposito di Henry, Qualcosa di personale
Marco Mete in L'olio di Lorenzo, Dalla Terra alla Luna
Franco Zucca in Carlito's Way, Homeland - Caccia alla spia
Carlo Cosolo in Law & Order - I due volti della giustizia (ep. 8x02), The Game - Nessuna regola
Dario Penne in Appuntamento col ponte, The International
