NiFi

NiFi
Логотип программы NiFi
Скриншот программы NiFi
Разработчики Mark Payne[вд] и David Handermann[вд]
Написана на Java
Первый выпуск 2006
Аппаратная платформа кроссплатформенность
Последняя версия
Репозиторий gitbox.apache.org/repos/…
Лицензия Apache License 2.0
Сайт nifi.apache.org (англ.)
Логотип Викисклада Медиафайлы на Викискладе

NiFi (Apache NiFi) — открытое программное обеспечение проекта фонда Apache, предназначенное для организации ETL-процессов в рамках экосистемы Hadoop.

Наименование — акроним от NiagaraFiles — названия программы Агентства национальной безопасности США, на основе которой создан в рамках программы передачи технологий АНБ в 2014 году[2][3][4][5][6]. Основной разработчик в первые годы — компания Onyara, в 2015 поглощена Hortonworks[7], которую, в свою очередь поглотила корпорация Cloudera в 2019 году[8], где по состоянию на 2020-е годы сосредоточена основная активность по развитию и поддержке продукта.

Поддерживает горизонтальное масштабирование для работы в кластерах, безопасность с использованием шифрования TLS, расширяемость (пользователи могут писать свои собственные приложения для расширения его возможностей), реализован пользовательский интерфейс для визуального просмотра и изменения сценариев обработки данных.

Компоненты NiFi

Все компоненты — серверные Java-программы, запускающиеся под управлением виртуальной машины Java, основные из них:

  • веб-сервер — компонент на основе HTTP, используемый для визуального анализа и отслеживания событий;
  • контроллер потоков — управляет запуском экземпляров потоков-расширений NiFi и планирует выделение ресурсов для них;
  • потоки-расширения — различные плагины, позволяющие NiFi взаимодействовать с различными системами;
  • репозиторий FlowFile — хранилище метаданных для поддержания и отслеживания состояния текущего активного потока или информации, перемещаемой между системами;
  • репозиторий контента — хранилище передаваемых данных;
  • репозиторий провенанса — данные о происхождении данных, проходящих через систему.

Примечания

  1. ↑ https://cwiki.apache.org/confluence/display/NIFI/Release+Notes#ReleaseNotes-Version1.25.0 — 2024.
  2. ↑ NSA Releases First in Series of Software Products to Open Source Community (англ.). www.nsa.gov. Дата обращения: 7 декабря 2017. Архивировано из оригинала 7 декабря 2017 года.
  3. ↑ Bridgwater. NSA 'NiFi' Big Data Automation Project Out In The Open. Forbes (21 июля 2015). Дата обращения: 21 сентября 2016. Архивировано 8 декабря 2017 года.
  4. ↑ Vaughan-Nichols. NSA partners with Apache to release open-source data traffic program | ZDNet. ZDNet. Дата обращения: 21 сентября 2016. Архивировано 2 октября 2016 года.
  5. ↑ NSA Source Code Leak: Information slurp tools to appear online. The Register. Дата обращения: 21 сентября 2016. Архивировано 6 октября 2016 года.
  6. ↑ Wolpe. Hortonworks CTO on Apache NiFi: What is it and why does it matter to IoT? | ZDNet. ZDNet. Дата обращения: 21 сентября 2016. Архивировано 11 сентября 2016 года.
  7. ↑ Hortonworks buys Onyara, the company behind Apache NiFi, which was developed at NSA. VentureBeat (25 августа 2015). Дата обращения: 21 сентября 2016. Архивировано 27 июля 2017 года.
  8. ↑ Welcome to a brand-new Cloudera (амер. англ.). Hortonworks (3 января 2019). Дата обращения: 20 мая 2019. Архивировано 14 мая 2019 года.