Riconosciuto per le sue eccellenti capacità organizzative, venne nominato capo-direttore del quartier generale dell'Oberkommando des Heeres nell'ottobre 1942, nonostante la personale antipatia che Hitler nutriva nei suoi confronti. Durante la guerra, ad esempio, quando era a Varsavia nel novembre 1939, Stieff scrisse molte lettere alla moglie che illustravano il suo disgusto e la disperazione sul comportamento di Hitler, sulla guerra e sulle atrocità commesse nella Polonia occupata.
Su richiesta di Henning von Tresckow, si unì al Widerstand. Approfittando del fatto che era il responsabile della "Organisationsabteilung", ebbe la possibilità di acquisire e conservare tutti i tipi di esplosivi, compresi quelli stranieri.
Dato che era uno degli ufficiali che potevano avere accesso a Hitler, si offrì volontario per uccidere il Führer in un attentato suicida. Il 7 luglio 1944, durante una manifestazione per la presentazione delle nuove divise militari a Hitler presso il Castello di Klessheim, un palazzo vicino a Salisburgo, Stieff non ebbe il coraggio per innescare la bomba. Stauffenberg decise quindi di uccidere personalmente Hitler.[2]
Stieff, il 20 luglio, volò insieme a Stauffenberg a bordo di un aereo Heinkel He 111, da Berlino a Rastenburg. Venne arrestato il 21 luglio presso il Wolfsschanze e venne interrogato sotto tortura, non rivelando per diversi giorni i nomi degli altri cospiratori. Condotto al Volksgerichtshof, venne condannato a morte l'8 agosto 1944 e giustiziato il giorno stesso nella prigione di Plötzensee a Berlino.