Althoff wuchs als Sohn des Tischlermeisters Johannes Althoff[2] in Krefeld auf. Um dem Marschieren in der Hitlerjugend zu entgehen, besuchte er einen Modellbaukurs, den ein Volksschullehrer anbot. Dort baute er Flugzeugmodelle.[3] Nach der Schule machte er eine Tischlerlehre bei seinem Vater. Von 1944 bis 1948 studierte er Architektur und Innenarchitektur an der Meisterschule für das Gestaltende Handwerk, der späteren Werkkunstschule Krefeld. Diese Fächer vertiefte er anschließend an der Kunstakademie Düsseldorf unter Hans Schwippert, der ihn auf Empfehlung von Stephan Hirzel (1899–1970), dem kurzzeitigen Direktor der Krefelder Meisterschule, 1950 in seine Klasse aufnahm.[4] 1955 begann er seine Tätigkeit als freiberuflich arbeitender Architekt. Das Atelier, das Althoff hierzu 1956 an der Mittelstraße 33 in Krefeld bezogen hatte, bildete ein Zentrum fachlicher Besprechungen zum Thema „Holz“ sowie kulturpolitisch-philosophischer Diskussionen, an denen neben dem Bildhauer Joseph Beuys und dem Dichter Adam Rainer Lynen (* 1923) auch andere Gäste teilnahmen, etwa die Künstler Rolf Crummenauer, Holger Runge und Hans Ostendorf sowie die Schriftsteller Franz Schonauer und Heinar Kipphardt.[5] 1963 von Schwippert als Dozent an die Düsseldorfer Akademie berufen unterrichtete er dort bis 1993 die Baukunstklasse,[6] seit 1972 als Professor. Eine Meisterschülerin Althoffs war Ulrike Zilly. Mit Niklaus Fritschi, einem weiteren ehemaligen Schüler, bildete er 1979 eine Ateliergemeinschaft.
Irmgard Bernrieder, Ernst J. Althoff: Ernst J. Althoff. Spielplatz Kunst. Städtische Galerie im Park, Verein für Heimatpflege e.V. Viersen, Viersen 2012
Karl Kasper: Ferienhäuser international. Gerd Hatje, Stuttgart 1967, S. 21 ff. ( Ferienhaus bei Krefeld )
Egon Traxler: Aktuelles. In: www.egon-traxler.de. Archiviert vom Original am 26. August 2016; abgerufen am 26. August 2016 (Krefelder Köpfe. Ein Mann, der nie seine Wurzeln vergisst. Ernst Althoff : Vom Schreinergesellen zum Architekten und Professor an der Kunstakademie in Düsseldorf).
↑Sommerhaus in Holzkonstruktion. In: Detail. Nr.6, 1966 (detail.de).
↑Kunstakademie Düsseldorf-Pressemitteilung - 10. Mai 2010. In: kunstakademie-duesseldorf.de. 10. Mai 2010, archiviert vom Original (nicht mehr online verfügbar) am 31. Januar 2022; abgerufen am 31. Januar 2022 (Hochschulnachrichten: Zur akademischen Semestereröffnungsfeier ernannte der Rektor Professor Anthony Cragg drei neue Ehrenmitglieder).Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.kunstakademie-duesseldorf.de