Народився у Відні, у бідній вчительській родині. Юнацькі роки провів у Празі, де вивчав філософію та музику.
У 1950 р. Кляйбер повенувся до Європи. У 1951 р. намагався повернутися до диригентської роботи у Берлінській державній опері, але відчував зневагу через обіцянки керівництва НДР, які не були дотриманіf. Також не вдалося осісти у Західному Берліні, ангажемент у Відні не відбувся. Таким чином він деякий час жив у Цюрихському готелі.
Раптово помер 27 січня 1956 р. від серцевого нападу у Цюриху.
Еріх Кляйбер — батько так само знаменитого диригента Карлоса Кляйбера (нар. у Берліні, зростав у Південній Америці).