Dopo aver studiato in gioventù arte da autodidatta, nel 1905 iniziò un lungo viaggio durante il quale visitò il Belgio, la Francia, la Svizzera e l'Italia.
Nel 1909 tornò a Monaco, dove dipinse secondo uno stile decorativo con forti influenze espressioniste.
Riprese poi a viaggiare, passando molti mesi in Svizzera assieme a Oskar Maria Graf, dove si avvicinò al movimento anarchico, e in Italia, dove ebbe modo di ammirare e di riprodurre opere di grandi maestri del passato, in particolare di Michelangelo e Raffaello.
Tornato in Germania, fu costretto a lavorare come operaio per mantenersi, non riuscendo a vendere con facilità le sue opere.
Continuò tuttavia a disegnare e pitturare ad acquerello in uno stile espressionista paragonabile a quello di Heinrich Campendonk, fornendo anche disegni per periodici.
Verso la fine degli anni '10 si avvicinò all'arte moderna e cominciò a dipingere ad olio e a scolpire il legno, creando opere che ottennero una discreta attenzione da parte di alcuni critici d'arte e che furono esposte in importanti gallerie d'arte.
Fu in questi anni che incontrò la sua futura moglie, Maria Uhden, anche lei pittrice, che morì prematuramente nel 1918 di parto.
La morte della moglie influenzò i suoi lavori successivi, che furono più lirici e che spesso ritraevano giovani donne.
Durante gli anni '20 Schrimpf si allontanò dall'Espressionismo per avvicinarsi alla corrente neoclassica della Nuova oggettività, di cui fu riconosciuto come uno dei rappresentanti principali: cercò quindi di riprodurre su tela un mondo dalle atmosfere calme ed armoniose, privo di tutti i problemi del tempo, rifacendosi in parte ai paesaggi idilliaci del movimento Biedermeier.
In un viaggio in Italia nel 1922 entrò in contatto con il gruppo Valori plastici e con gli artisti della Pittura metafisica, che confermarono la sua tendenza verso un realismo poetico.
In particolare, la sua amicizia con Carlo Carrà lo orientò verso una pittura fatta di grandi volumi plastici, che cerca di descrivere gli oggetti in modo atemporale e quasi magico.
A metà degli anni '20 cominciò ad insegnare arte in prestigiose accademie e scuole d'arte, da dove venne poi allontanato con l'avvento del nazismo.
I nazisti vietarono anche di esporre in pubblico le sue opere, alcune delle quali furono incluse nella mostra di arte degenerata che si tenne a Monaco nel 1937.