Prima di diventare attore, Herb Edelman frequentò per un anno la facoltà di veterinaria alla Cornell University. Durante il servizio militare fece l'annunciatore per la radio delle Forze Armate, poi frequentò la scuola teatrale del Brooklyn College ed esercitò svariati mestieri, tra cui il tassista.
Fu il regista Mike Nichols a notarlo e a offrirgli il ruolo del tecnico telefonico nella sua commedia A piedi nudi nel parco, in scena a Broadway nel 1963. Nello stesso periodo Edelman iniziò a lavorare come attore televisivo e apparve in diverse serie come Il reporter (1964), Quella strana ragazza (1966) ,Agenzia U.N.C.L.E. (1967), e Strega per amore (1969) nell'episodio This Little Piggie.
Dopo aver interpretato il premier sovietico nella commedia di spionaggio A noi piace Flint (1966), accanto a James Coburn, Edelman riprese il ruolo di Harry Pepper, che già aveva interpretato a Broadway, nel film commedia A piedi nudi nel parco (1967) di Gene Saks. L'anno successivo lavorò nuovamente sotto la regia di Saks per la commedia La strana coppia (1968), al fianco di Jack Lemmon e Walter Matthau, in cui interpretò il ruolo del poliziotto Murray, un componente del gruppo di amici che si riunisce settimanalmente a casa di Oscar Madison (Matthau) per giocare a poker.
Sempre nel 1968, Edelman raggiunse la definitiva celebrità anche sul piccolo schermo nella serie The Good Guys, interpretando il ruolo di Bert Gramus, gestore della tavola calda Bert's Place e amico del tassista Rufus Butterworth (Bob Denver). Nella seconda stagione della serie i due personaggi diventarono soci nella gestione del piccolo ristorante, aiutati dalla moglie di Bert, Claudia (interpretata da Joyce Van Patten). La sitcom andò in onda per due stagioni, dal 1968 al 1970, per un totale di quarantadue episodi.
Durante gli anni settanta Edelman apparve solo occasionalmente sul grande schermo, ma in film popolari quali le commedie Prima pagina (1974) di Billy Wilder, in cui ritrovò Jack Lemmon e Walter Matthau, e California Suite (1978), il drammatico Come eravamo (1973), con Barbra Streisand e Robert Redford, e il poliziesco Yakuza (1974). Innumerevoli furono invece le partecipazioni televisive, che fecero di Edelman uno dei più familiari volti del piccolo schermo. Tra i telefilm da lui interpretati sono da ricordare Le strade di San Francisco (1973-1974), Cannon (1974-1975), Big John, Little John (1976), una serie per bambini, Kojak (1976-1978). Apparve in due episodi della serie poliziesca Ellery Queen, La notte di San Silvestro, in cui impersonò il tassista che accompagna Ellery Queen (Jim Hutton) dalla fidanzata e poi all'Hotel Astor, durante la notte di Capodanno del 1947, e Cuore di pietra, nel quale interpretò Max Sheldon, un autore di programmi televisivi.
Edelman proseguì la carriera televisiva anche durante gli anni ottanta, con ruoli ricorrenti nelle serie Adorabili creature (1980-1981), Strike Force (1981-1982), New York New York (1984-1985), A cuore aperto (1984-1988), Cuori senza età (1985-1992), nel ruolo di Stan Zbornak. Per quest'ultima serie l'attore fu candidato due volte al premio Emmy come miglior attore non protagonista in una serie commedia. Apparve inoltre in dieci episodi della popolare serie La signora in giallo, in cui interpretò a più riprese il ruolo di Artie Gelber, un poliziotto del NYPD che affianca Jessica Fletcher (Angela Lansbury) nelle sue consuete indagini. L'ultimo degli episodi a cui partecipò, Twice Dead, risale al 1995, anno in cui egli abbandonò le scene dopo un'ultima apparizione nella serie La legge di Burke.
Vita privata
Dal 1964 al 1970 Edelman fu sposato con Louise Sorel, anche lei nota interprete televisiva e dal 1971 al 1984 fu sposato con Marylin Cosgrove da cui ha avuto due figlie, Briana e Jacy.
Successivamente l'attore fu legato a Christina Pickles, sua partner nella serie televisiva A cuore aperto. La relazione durò fino alla scomparsa di Edelman, che morì il 21 luglio 1996, all'età di sessantadue anni, per un enfisema.