Naix al si d'una família d'arquitectes. El seu pare, Dominikus Böhm, és conegut per haver construït nombroses esglésies a Alemanya. Després de titular-se el 1946 en l'Institut Tècnic de Múnic, estudia escultura en l'Acadèmia de Belles arts d'aquesta ciutat. A partir de 1947 col·labora amb el seu pare fins a la mort d'aquest en 1955. Durant el mateix període, treballa també amb la Societat per a la Reconstrucció de Colònia sota la direcció de Rudolf Schwarz. En 1951 passa sis mesos a Nova York on treballa en l'agència de Cajetan Baumann. Completa la seva estada americana amb un viatge d'estudis a través del país, la qual cosa li dona l'ocasió d'entrevistar-se amb Ludwig Mies Van der Rohe i Walter Gropius pels quals mostra una gran admiració.[1]
Va realitzar nombrosos edificis a Alemanya: esglésies, museus, teatres, centres culturals, oficines i allotjaments. En els anys 60 se li considerava com un arquitecte expressionista, encara que més recentment se'l va classificar com post-Bauhaus. Ell mateix prefereix definir-se com un arquitecte que crea "connexions", entre el passat i el que és recent, entre les idees i el món físic, entre un edifici i el seu marc urbà, i això es tradueix en l'elecció de la forma, els materials i el color de les construccions que concep.
Molt dels seus projectes els realitza en formigó brut, però a partir del Centre cívic de Bergisch Gladbach, comença a utilitzar nous materials com el vidre i l'acer, un canvi de direcció en l'elecció dels materials, deguda a l'evolució tecnològica. En nombrosos projectes, la seva atenció per a la planificació urbana és evident, com, per exemple, al barri entorn de la catedral de Colònia, a la Plaça Praga a Berlín, en el perímetre entorn del castell de Saarbruecken i al Barri Lingotto a Torí. Va rebre nombrosos premis entre ells el prestigiós Pritzker el 1986.