En , il finit par accepter le choix des autres électeurs et jura fidélité entre les mains de Frédéric II à Boppard. Mais peu après, à la suite de la mort d'Henri VI le , prétextant que le candidat n'a pas été baptisé et que l'empereur a fait pression sur les électeurs, l'archevêque de Cologne déclare l'élection invalide.
Dans la lutte dynastique qui s'ensuit entre les Hohenstaufen et les Welf pour accéder au trône, Adolphe d'Altena couronne Otton de Brunswick roi des Romains le à Aix-la-Chapelle. Le pape Innocent III, intéressé par l'affaiblissement des Hohenstaufen et à briser leur pouvoir (notamment en Italie), confirme cette élection.
Le , Philippe de Souabe est assassiné. Le pape gracie alors l'ancien archevêque et le nomme évêque auxiliaire de l'archevêché de Cologne. Poste qu'il occupera jusqu'à la fin de ses jours, le .