Apache NiFi

Apache NiFi
Screenshot des Web UI von Apache NiFi
Basisdaten
Hauptentwickler	Apache Software Foundation
Entwickler	Mark Payne, David Handermann
Erscheinungsjahr	2006
Aktuelle Version	1.25.0[1] (29. Januar 2024)
Betriebssystem	Cross-platform
Programmier­sprache	Java (Programmiersprache)
Kategorie	Streamprozessor
Lizenz	Apache-Lizenz 2.0
nifi.apache.org

Apache NiFi ist eine freie Software der Apache Software Foundation, die zur Automatisierung des Datenflusses zwischen Softwaresystemen dient. Es dient der Implementierung von ETL-Prozessen. Es wird für Big Data Anwendungen verwendet.

Geschichte

2006 wurde NiFi unter dem Pseudonym Niagarafiles von der National Security Agency entwickelt und im November 2014 im Rahmen des NSA Technology Transfer Program an die Apache Software Foundation übergeben und unter der Apache-Lizenz freigegeben[2] und galt gemäß heise online 2019 als das bekannteste Open-Source-Projekt der NSA.[3] Im Juli 2015 wurde NiFi seitens Apache zum Top-Level-Projekt erkoren.[4] Das hauptverantwortliche Entwicklungs-Unternehmen war bis August 2015 Onyara, welches von Hortonworks aufgekauft wurde.

NiFi wurde Teil der Hortonworks DataFlow des Projekts Hortonworks Data Platform[5] und nach der Fusion von Hortonworks mit Cloudera im Januar 2019 ebenso Teil von Cloudera. Zu den weiteren Nutzern gehören unter anderem Gaia-X mit dem Projekt Marispace-X[6] oder Porsche mit der Datenplattform Streamzilla[7].

Details

Komponenten von Apache NiFi

Die Anwendung basiert auf einer Datenfluss-Architektur.

Die Kernkonzepte sind FlowFiles (ein Blob von 0 oder mehr Bytes mit Metadaten in Form von Key-Value-Pairs), welche den Input und Output von FlowFile Processors (die Datenstrom-Verarbeitungskomponenten) darstellen.[8]

NiFi stellt Standard-„FlowFile Processors“ zur Verfügung, die nur noch für eine bestimmte Anwendung konfiguriert werden können.[9]

Literatur

Sebastian Müller: Big Data Analysen. Für den schnellen Einstieg (= Bernd Ulmann [Hrsg.]: Softwaretechnik. Band 3). Hannover 2018, ISBN 978-3-11-045552-6, S. 71–107. 

Einzelnachweise

1. cwiki.apache.org. 29. Januar 2024 (abgerufen am 30. Januar 2024).
2. Adrian Bridgwater: NSA 'NiFi' Big Data Automation Project Out In The Open. Forbes, abgerufen am 15. Januar 2023 (englisch). 
3. Stefan Krempl: Ghidra: NSA will Reverse-Engineering-Werkzeug als Open Source veröffentlichen. heise online, 8. Januar 2019, abgerufen am 15. Januar 2023. 
4. Ulrich Bantle: Apache kürt NiFi zum Top-Level-Projekt. Linux Magazin, 21. Juli 2015, abgerufen am 15. Januar 2023. 
5. Alexander Neumann: Big Data: Hortonworks übernimmt Onyara. heise online, 25. August 2015, abgerufen am 15. Januar 2023. 
6. Plattform-Alternative aus Deutschland will Datensouveränität ermöglichen. Datacenter Insider, 18. Juli 2022, abgerufen am 15. Januar 2023. 
7. Werner Beutnagel: Wie Porsche dem Datenberg Herr wird. automotiveIT, 23. April 2021, abgerufen am 15. Januar 2023. 
8. Apache NiFi Overview. Abgerufen am 15. Januar 2023. 
9. Apache Nifi: What Processors are there? Abgerufen am 15. Januar 2023. 

Weblinks

• Offizielle Website (englisch)