Venne avviato fin da giovanissimo alla carriera militare. Il 13 marzo 1900 entrò come alfiere (Fahnenjunker) nel 3º Reggimento reale di artiglieria da campagna, presso il quale, il 18 agosto dell'anno successivo, venne nominato sottotenente (Leutnant). Aiutante di battaglione nel 1904 e di reggimento nel 1907, nel 1908 entrò nella scuola di cavalleria di Hannover. Promosso tenente (Oberleutnant) il 27 gennaio 1910, il 1º ottobre dello stesso anno si diplomò presso l'Accademia di guerra (Kriegsakademie). Nel 1911 von Kleist venne nominato ufficiale di Stato maggiore presso il 14º Reggimento di cavalleria.
Promosso capitano (Hauptmann) il 22 marzo 1914, poco dopo lo scoppio della prima guerra mondiale, venne trasferito il 19 dicembre presso il 1º Reggimento Ussari, e il 17 ottobre 1915 presso l'85ª Divisione di fanteria. Aiutante di brigata dal 1º giugno 1916, il 29 ottobre successivo divenne ufficiale addetto agli armamenti del XVII Corpo d'armata, incarico che lasciò il 1º giugno 1917 per frequentare, dapprima i corsi della Scuola di artiglieria di Wahn, poi per assumere l'incarico di capo di Stato Maggiore della divisione di cavalleria Guardie, infine per divenire capo di Stato maggiore generale della 225ª Divisione di fanteria, incarico che mantenne sino al novembre del 1918.
Dopo l'armistizio, von Kleist rimase in servizio nella Reichswehr e, fra il 1919 e il 1923, rimase presso il 13º Reggimento di cavalleria, venendo successivamente trasferito, come istruttore tattico, alla Scuola di cavalleria di Hannover. Tenente colonnello (Oberstleutnant) nel 1926, il 1º marzo dell'anno successivo passò allo Stato maggiore della 2ª Divisione di cavalleria, del quale divenne il capo il 1º aprile 1928. Trasferito alla 3ª Divisione il 1º febbraio 1929 divenne colonnello (Oberst), e due anni dopo ricevette il primo comando presso il 9º Reggimento di fanteria, seguito da quello della 2ª Divisione di cavalleria, il 1º febbraio 1932, dalla promozione a generale di brigata (Generalmajor), il 1º ottobre 1932, a tenente generale (Generalleutnant), il 1º ottobre 1933 e a General der Kavallerie il 1º agosto 1936.
Il 28 febbraio 1938 venne congedato a causa della sua ostilità al regime nazista, ma nell'agosto del 1939 venne richiamato direttamente da Hitler e posto a capo del XXXII Corpo d'armata impegnato nell'invasione della Polonia.
Impegnate in Ucraina, le Panzer-Divisionen del generale von Kleist (cinque divisioni corazzate con oltre 800 carri armati), dovettero fronteggiare la dura opposizione delle potenti riserve meccanizzate sovietiche, riuscendo infine a sbaragliare questa aspra resistenza (battaglia di Brody-Dubno). Nelle settimane successive von Kleist partecipò alle importanti battaglie di accerchiamento di Uman e Kiev, mentre, in ottobre, sempre alla testa del suo raggruppamento corazzato (ora ridenominato 1. Panzerarmee), partecipò alla battaglia del Mar d'Azov, alla cattura di Rostov e alle battaglie nel settore di Stalino e del bacino del Donetz. Nell'estate 1942, guidò la marcia nel Kuban' e l'avanzata nel Caucaso nel quadro dell'Operazione Blu; le sue forze corazzate raggiunsero la linea del Terek ma non riuscirono a superare la resistenza sovietica.
La sua Panzerarmee divenne famosa per la lettera K dipinta in rilievo bianco nelle torrette dei carri armati.
Il 30 marzo 1944 venne bruscamente congedato, insieme a von Manstein, per le sue posizioni ormai chiaramente anti-hitleriane, trascorrendo nell'ombra l'ultimo anno di guerra.[senza fonte]