À partir de 1925, il fait partie du comité central du KPD. Au début de 1927, il est secrétaire à l’organisation de la région de Hambourg (Wasserkante) et, de début 1930 au printemps 1932, secrétaire politique de Basse-Saxe[2].
À partir de , John Schehr est secrétaire du comité central et membre du bureau politique du KPD. Après l'arrestation d'Ernst Thälmann, il assume la présidence du parti en .
En , Schehr est arrêté par la Gestapo. Torturé, il ne donne aucune information. Le , il est assassiné en même temps qu'Eugen Schönhaar, Rudolf Schwarz et Erich Steinfurth à Berlin. Le motif invoqué est « abattu lors d'une tentative de fuite », mais cet acte, intervenant juste après l'exécution sur ordre du KPD d'un des agents de renseignement des nazis, Alfred Kattler, relève à l'évidence d'une mesure de représailles[3].
Hommages
En 1934, Erich Weinert écrit un poème intitulé John Schehr und Genossen (John Schehr et ses camarades) évoquant l'assassinat par balles des quatre prisonniers.
La République démocratique allemande rend hommage à John Schehr en donnant son nom à de nombreuses rues, des équipements et des édifices.