#ClickHouse #ApacheNiFi #СУБД
Интеграция ClickHouse с Apache NiFi
Как прочитать данные из ClickHouse в Apache NiFi или загрузить их в таблицу колоночной СУБД: настройки подключения, использование процессоров и тонкости потоковой интеграции.
Подключение к ClickHouse из Apache NiFi
Как и интеграция ClickHouse с Apache AirFlow, связь этой колоночной СУБД с приложением NiFi реализуется с помощью решения сообщества, средствами самого NiFi.
Полная статья: https://bigdataschool.ru/blog/news/clickhouse/clickhouse-nifi-integration.html
Курсы: https://bigdataschool.ru/courses/clickhouse https://bigdataschool.ru/courses/nifi3
Наш сайт: https://bigdataschool.ru
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Интеграция ClickHouse с Apache NiFi
Как прочитать данные из ClickHouse в Apache NiFi или загрузить их в таблицу колоночной СУБД: настройки подключения, использование процессоров и тонкости потоковой интеграции.
Подключение к ClickHouse из Apache NiFi
Как и интеграция ClickHouse с Apache AirFlow, связь этой колоночной СУБД с приложением NiFi реализуется с помощью решения сообщества, средствами самого NiFi.
Полная статья: https://bigdataschool.ru/blog/news/clickhouse/clickhouse-nifi-integration.html
Курсы: https://bigdataschool.ru/courses/clickhouse https://bigdataschool.ru/courses/nifi3
Наш сайт: https://bigdataschool.ru
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
#ApacheNifi #JVM #метрики
Мониторинг NiFi-приложения внешними средствами через задачи отчетности
Что такое задачи отчетности, зачем они нужны и как с их помощью отслеживать события и системные метрики экземпляра NiFi-приложения, а также JVM. Обзор Reporting Tasks в Apache NiFi 2.0.
Задачи отчетности в Apache NiFi
Чтобы отслеживать события и метрики работающего экземпляра приложения Apache NiFi, этот фреймворк предоставляет специализированные инструменты, которые называются задачи отчетности (Reporting Tasks)
Статья: https://bigdataschool.ru/blog/news/nifi/nifi-reporting-tasks.html
Курс: https://bigdataschool.ru/courses/nifi3
Наш сайт: https://bigdataschool.ru
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Мониторинг NiFi-приложения внешними средствами через задачи отчетности
Что такое задачи отчетности, зачем они нужны и как с их помощью отслеживать события и системные метрики экземпляра NiFi-приложения, а также JVM. Обзор Reporting Tasks в Apache NiFi 2.0.
Задачи отчетности в Apache NiFi
Чтобы отслеживать события и метрики работающего экземпляра приложения Apache NiFi, этот фреймворк предоставляет специализированные инструменты, которые называются задачи отчетности (Reporting Tasks)
Статья: https://bigdataschool.ru/blog/news/nifi/nifi-reporting-tasks.html
Курс: https://bigdataschool.ru/courses/nifi3
Наш сайт: https://bigdataschool.ru
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Курсы Big Data,Arenadata,Greenplum, Kafka и Spark
Мониторинг NiFi-приложения внешними средствами через задачи отчетности
Что такое задачи отчетности, зачем они нужны и как с их помощью отслеживать события и си
#ApacheNiFi #200M4 #Kafka
Apache NiFi 2.0.0-M4: июльские новинки мажорного релиза
1 июля 2024 г. опубликован очередной выпуск Apache NiFi 2.0.0. Знакомимся с его наиболее интересными добавлениями и улучшениями: критические изменения, обновленная интеграция с Kafka и новые процессоры для работы с файлами разных форматов.
Обновленная интеграция с Kafka и другие новинки Apache NiFi 2.0.0-M4
Выпуск мажорного релиза не всегда происходит одним этапом. Например, разработчики Apache NiFi публикуют обновления пошагово. В начале июля вышла четвертое дополнение релиза 2.0.0, которое включает довольно много изменений, в том числе критических.
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Apache NiFi 2.0.0-M4: июльские новинки мажорного релиза
1 июля 2024 г. опубликован очередной выпуск Apache NiFi 2.0.0. Знакомимся с его наиболее интересными добавлениями и улучшениями: критические изменения, обновленная интеграция с Kafka и новые процессоры для работы с файлами разных форматов.
Обновленная интеграция с Kafka и другие новинки Apache NiFi 2.0.0-M4
Выпуск мажорного релиза не всегда происходит одним этапом. Например, разработчики Apache NiFi публикуют обновления пошагово. В начале июля вышла четвертое дополнение релиза 2.0.0, которое включает довольно много изменений, в том числе критических.
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
#ApacheNiFi #Listen
Процессоры-слушатели в Apache NiFi
Какие процессоры Apache NiFi позволяют принимать и обрабатывать данные из различных источников по разным протоколам, и как избежать сбоев при их использовании с удержанием открытых соединений и порты.
Listen-процессоры Apache NiFi
В Apache NiFi есть целый набор процессов-слушателей, которые принимают и обрабатывают входящие данные из различных источников по разным протоколам. Хотя каждый из них используется для работы с разными протоколами и типами входящих данных, их основная функция заключается в прослушивании входящих соединений и приеме информации, которая затем может быть обработана и направлена в дальнейшие процессоры или системы.
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Процессоры-слушатели в Apache NiFi
Какие процессоры Apache NiFi позволяют принимать и обрабатывать данные из различных источников по разным протоколам, и как избежать сбоев при их использовании с удержанием открытых соединений и порты.
Listen-процессоры Apache NiFi
В Apache NiFi есть целый набор процессов-слушателей, которые принимают и обрабатывают входящие данные из различных источников по разным протоколам. Хотя каждый из них используется для работы с разными протоколами и типами входящих данных, их основная функция заключается в прослушивании входящих соединений и приеме информации, которая затем может быть обработана и направлена в дальнейшие процессоры или системы.
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
#ApacheNiFi #FlowFile #транзакционность
Как движок выполнения влияет на транзакционность операций с FlowFile в Apache NiFi
Зачем в Stateless-движке настраивать порт отказа, почему этот механизм в Apache NiFi подходит для надежных и транзакционных источников, но не для всех протоколов передачи данных, а также чем классический режим выполнения эффективнее в эксплуатации.
Транзакционность операций с FlowFile в Apache NiFi
О том, что Apache NiFi поддерживает два механизма выполнения: традиционный и stateless, мы уже писали здесь и здесь. Таким образом, при проектировании конвейера обработки данных в Apache NiFi перед дата-инженером встает не только вопрос выбора подходящих процессоров, но и механизма выполнения.
Статья
Курсы: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Как движок выполнения влияет на транзакционность операций с FlowFile в Apache NiFi
Зачем в Stateless-движке настраивать порт отказа, почему этот механизм в Apache NiFi подходит для надежных и транзакционных источников, но не для всех протоколов передачи данных, а также чем классический режим выполнения эффективнее в эксплуатации.
Транзакционность операций с FlowFile в Apache NiFi
О том, что Apache NiFi поддерживает два механизма выполнения: традиционный и stateless, мы уже писали здесь и здесь. Таким образом, при проектировании конвейера обработки данных в Apache NiFi перед дата-инженером встает не только вопрос выбора подходящих процессоров, но и механизма выполнения.
Статья
Курсы: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
#CVE202437389 #ApacheNiFi #XSS
Уязвимость CVE-2024-37389 в Apache NiFi: чем она опасна и как от нее избавиться
Как уязвимость CVE-2024-37389 может привести к выполнению произвольного кода в Apache NiFi: контекст параметров и межсайтовый скриптинг в веб-приложении для визуального проектирования конвейера обработки данных.
Параметры свойств и их контекст в Apache NiFi
8 июля 2024 года в мажорном релизе Apache NiFi обнаружена уязвимость средней степени серьезности, связанная с неправильной нейтрализацией ввода в описании контекста параметров. Впрочем, она затрагивает не только выпуски 2.0.0-M1-2.0.0-M3, но и версии 1.10.0-1.26.0. Эти релизы Apache NiFi поддерживают поле описания в конфигурации контекста параметров, которое уязвимо для межсайтового скриптинга (XSS, Cross-Site Scripting).
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Уязвимость CVE-2024-37389 в Apache NiFi: чем она опасна и как от нее избавиться
Как уязвимость CVE-2024-37389 может привести к выполнению произвольного кода в Apache NiFi: контекст параметров и межсайтовый скриптинг в веб-приложении для визуального проектирования конвейера обработки данных.
Параметры свойств и их контекст в Apache NiFi
8 июля 2024 года в мажорном релизе Apache NiFi обнаружена уязвимость средней степени серьезности, связанная с неправильной нейтрализацией ввода в описании контекста параметров. Впрочем, она затрагивает не только выпуски 2.0.0-M1-2.0.0-M3, но и версии 1.10.0-1.26.0. Эти релизы Apache NiFi поддерживают поле описания в конфигурации контекста параметров, которое уязвимо для межсайтового скриптинга (XSS, Cross-Site Scripting).
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
#FlowFile #ApacheNiFi
Машрутизация FlowFile в Apache NiFi на основе атрибутов
Что такое атрибуты FlowFile, какие процессоры есть в Apache NiFi для работы с ними и как маршрутизировать поток данных на основе пользовательских свойств.
Атрибуты FlowFile и процессоры для работы с ними
Основной единицей данных, которая перемещается через систему в Apache NiFi является FlowFile. Он представляет собой контейнер для данных и метаданных, которые используются для обработки и маршрутизации в конвейерах потоках. Каждый FlowFile состоит из двух главных компонентов:
контент – данные, которые FlowFile содержит;
атрибуты — метаданные, которые описывают FlowFile, такие как уникальный идентификатор, размер и путь к файлу.
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Машрутизация FlowFile в Apache NiFi на основе атрибутов
Что такое атрибуты FlowFile, какие процессоры есть в Apache NiFi для работы с ними и как маршрутизировать поток данных на основе пользовательских свойств.
Атрибуты FlowFile и процессоры для работы с ними
Основной единицей данных, которая перемещается через систему в Apache NiFi является FlowFile. Он представляет собой контейнер для данных и метаданных, которые используются для обработки и маршрутизации в конвейерах потоках. Каждый FlowFile состоит из двух главных компонентов:
контент – данные, которые FlowFile содержит;
атрибуты — метаданные, которые описывают FlowFile, такие как уникальный идентификатор, размер и путь к файлу.
Статья
Курс: NIFI3
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"