💎АЛРОСА — крупнейшая алмазодобывающая компания, мировой лидер по объёму добычи и запасов алмазов. Для получения оптимальных экземпляров этого уникального и важного для российской экономики минерала АЛРОСА анализирует большие объёмы данных на разных производственных этапах.

❔Как выглядит процесс добычи алмазов и производства готового продукта — бриллиантов? Какие именно данные собирает компания и какую ценность это даёт бизнесу? Какие технологии использует команда центра компетенций по управлению данными, чтобы хранить и правильно структурировать информацию?

🗣На эти вопросы и не только отвечает Кирилл Севергин, руководитель центра компетенций по управлению данными ООО «АЛРОСА ИТ» в эфире передачи «Большие данные большой страны» с Андреем Жуковым на телеканале «ПРО БИЗНЕС».

#АЛРОСА #Greenplum #ClickHouse #ArenadataDB #ArenadataStreaming #ArenadataQuickMarts #Arenadata

https://www.youtube.com/watch?v=rrdRNy6cSqM&t=3s

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

На этот раз — кейс 🍔 «Вкусно — и точка» о том, как за год удалось построить масштабируемую систему высокой доступности для обработки и анализа данных, а также запустить процесс оптимизации логистики с привлечением технологий машинного обучения и обработки данных из семи источников.

⚙️ Проект был реализован партнёром Группы Arenadata — компанией Navicon.

Спикеры — архитектор цифровых платформ «Вкусно — и точка!» Дмитрий Исаков и директор по стратегическому развитию Navicon Мария Аверина — рассказали о том, как удалось реализовать проект в сжатые сроки, а также о продуктах, которые стали его основой: Arenadata DB, Arenadata Streaming, Arenadata QuickMarts, Arenadata Cluster Manager и Arenadata Catalog.

🔜 Напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#Arenadata #ArenaDay #bigdata #ADB #ArenadataStreaming #ArenadataDB #ArenadataCatalog

🏭Горно-металлургическая компания «Северсталь» строит платформу для хранения и анализа данных на стеке продуктов Группы Arenadata.

⏯Задача по миграции SAP BW встала перед «Северсталью» в конце 2022 года. Для достижения технологического суверенитета было решено построить собственное комплексное решение, объединяющее несколько компонентов: от хранилища данных до генератора контента.

📞Сергей Герасимов, руководитель центра структура и качество данных «Северсталь-инфоком»:

«Широкая экспертиза Arenadata в части построения хранилищ данных и уникальный индустриальный опыт «Северстали» в построении собственного корпоративного хранилища и создании контента хранилища данных объединились для создания индустриального отечественного решения».

Подробнее читайте на нашем сайте>>

#Импортозамещение #Arenadata #Северсталь #ArenadataQuickMarts #ArenadataStreaming #ArenadataDB #ArenadataCatalog

💬 Подписаться на канал Arenadata

🏭 Крупнейший в мире производитель никеля и палладия — горно-металлургическая компания «Норникель» построила технологичную платформу для решения бизнес-задач с применением Big Data и Data Lake на продуктах Arenadata.

💻Единой точкой доступа к данным и одним из основных компонентов платформы является аналитическая СУБД Arenadata DB. Также в «Озере данных» используются Arenadata Streaming и Arenadata Hadoop.

Мансур Гасратов, руководитель «Озера данных» «Норникеля»:

«Построение ландшафта Data-платформы на базе продуктов Arenadata было для нас значимым, поскольку позволяет разрабатывать и запускать реальные инновационные кейсы. Решения Arenadata соответствуют нашим высоким требованиям к системам, которые работают с продуктивными данными, включая требования по безопасности».

Читайте подробнее на нашем сайте>>

💬 Подписаться на канал Arenadata

#Импортозамещение #ArenadataStreaming #ArenadataDB #ArenadataHadoop #Норникель #BigData #Arenadata #КейсыArenadata

2️⃣ «Академия Arenadata» запускает на Хабре цикл статей практического применения, который будет особенно полезен новичкам.

✏️ В первой статье Иван Клименко, архитектор департамента поддержки продаж Arenadata, рассказывает об основах работы с NiFi.

🫠 В продукт Arenadata Streaming входит cервис Arenadata Streaming NiFi. Он является LowCode-средством построения интеграционных потоков с возможностью масштабирования.

💡 В статье рассматривается:

⏩ общая архитектура продукта Arenadata Streaming;
⏩ процессоры для извлечения и загрузки данных;
⏩ пути достижения универсальности пайплайнов.

➡️ Читать подробнее на Хабре

#Arenadata #Habr #АкадемияArenadata #ArenadataStreaming

Arenadata обновила продукт для потоковой передачи и обработки данных Arenadata Streaming (ADS) и дополняющую его систему Arenadata Streaming Control (ADSC).

🔜 В новой версии ADS появилась поддержка Java 17 и включён новый плагин kafka-rest-security, предназначенный для авторизации в сервисе Kafka REST Proxy.

🔜В сервисе ADSC добавлена страница Consumer groups и реализованы вкладки Topics.

🔉 Александр Анисимов, технический руководитель ADS:

«При формировании дорожной карты развития продукта мы принимаем во внимание требования служб безопасности корпоративных заказчиков. В рамках этих требований в новый релиз включили возможность разграничения доступа пользователей Kafka REST Proxy к топикам Kafka».

🔗 Подробнее о релизе можно прочитать здесь >>

#Arenadata #ArenadataStreaming

🔥 Arenadata обновила продукт для потоковой передачи и обработки данных Arenadata Streaming (ADS).

⚙ Новая версия получила функциональность захвата изменений данных (CDC) и сервис мониторинга на базе Prometheus. Кроме того, Arenadata Streaming теперь реализует концепцию Tiered Storage — «многослойного» хранения данных в топиках Kafka, — и поддерживает протокол согласования Kafka Raft.

👤 Александр Анисимов, технический руководитель продукта Arenadata Streaming:

«Концепция Tiered Storage позволяет сократить расходы и предоставить дополнительную гибкость, когда требуется хранение исторических данных. Благодаря ограниченному набору локальных сегментов снижается потребность в преждевременном масштабировании, уменьшается время на расширение и ребалансировку кластера, а также на его восстановление после сбоев и обслуживания».

⛓ Подробнее >>

#ArenadataStreaming

2️⃣ В нашем блоге на Хабре вышла новая статья «Академия Arenadata: How to ADS.NiFi. Концепция потокового программирования в NiFi».

📁 Этим материалом мы продолжаем цикл публикаций для практического применения в формате „How To…“. Первая такая статья была посвящена взаимодействию с базами данных в NiFi.

👤 Во второй статье архитектор департамента поддержки продаж компании Arenadata Иван Клименко рассказал о концепции потокового программирования, FlowFile и подходе к разработке потоков обработки данных в NiFi.

👥 Материал будет полезен тем, кто делает первые шаги в NiFi, специалистам Data Engineering, разработчикам и архитекторам, которые ищут наглядную и гибкую альтернативу традиционной имплементации ETL.

➡️ Полный текст — на Хабре

📞 Ваши лайки, вопросы и комментарии традиционно приветствуются :)

#Habr #ArenadataHabr #ArenadataStreaming

Arenadata выпустила новую версию Arenadata Streaming Control (ADS Control) — системы для управления кластерами потоковой передачи данных.

Ключевые изменения в релизе:

✅ Реализована страница Schema Registry для просмотра информации о схемах и управления ими.

✅ На странице создания топиков добавлена поддержка настройки Tiered Storage и отдельное поле в таблице всех топиков для отображения статуса многоуровневого хранилища.

✅ Реализован плагин AuthZ для авторизации в Apache Ranger.

✅ Реализована поддержка синхронизации пользователей с LDAP-каталогом — теперь подключиться к веб-интерфейсу ADS Control смогут пользователи, имеющие учётную запись в каталоге MS Active Directory.

👤 Технический руководитель продукта Arenadata Streaming Александр Анисимов: 

«За последний год наша команда проделала большую работу по развитию ADS Control в качестве полнофункционального инструмента для управления всеми аспектами Kafka-кластера и сопутствующими компонентами. На сегодняшний день мы готовы отказаться от сервиса Kafka-Manager (CMAK), так как ADS Control не только полностью покрывает его функциональность, но и предоставляет новые возможности. И, конечно, мы продолжаем работать над улучшением уже существующих функций и добавлением новых».

⛓ Подробнее читайте в новости »

#ArenadataStreaming #ArenadataStreamingControl

☄️Представляем новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS) — теперь с автобалансировкой кластеров Kafka и экономией ресурсов CPU при передаче защищённых данных.

⚙Что нового в ADS 3.9.0.1.b1:

⏯️Kafka Cruise Control — автоматическое управление балансировкой рабочих нагрузок и масштабированием кластеров Kafka
⏯️NiFi ADB Processor — высокоскоростная параллельная запись данных из ADS: NiFi в Arenadata DB
⏯️Поддержка kTLS — аппаратное ускорение TLS-шифрования, снижает нагрузку на CPU
⏯️Совместимость с Astra Linux 1.7 — поддержка сертифицированной ОС со встроенными средствами защиты информации

📞Александр Анисимов, технический руководитель продукта Arenadata Streaming:

Cruise Control ориентирован на крупные высоконагруженные кластеры Kafka в инфраструктуре, критичной к отказам. В таких инсталляциях важно свести к минимуму время простоя, автоматизировать динамическую балансировку, восстановление и управление ресурсами для непрерывной работы и высокой производительности.

➡️Полный список изменений тут >>

Нужен надёжный инструмент для обмена данными между системами в реальном времени — оставьте заявку >>

#ArenadataStreaming

🚀Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS).

⚙️В состав продукта включён NiFi 2 — новое поколение low-code-сервиса разработки и исполнения ETL и интеграционных потоков данных.

Среди улучшений:

🔹Расширение функциональности Iceberg Sink Connector и Kafka Cruise Control
🔹Поддержка российской операционной системы «Альт СП» (релиз 10)

📞Александр Анисимов, технический руководитель продукта Arenadata Streaming:

Мы вложили значительные ресурсы команды разработки в развитие готового к промышленной эксплуатации Iceberg Sync Connector. После перехода коннектора в основной проект Apache Iceberg многие критически важные для корпоративной среды функции остались без внимания, например поддержка аутентификации Kerberos, ключевые модули для трансформации данных (SMT) и полноценная работа в режиме UPSERT. Команда Arenadata устранила эти ограничения, что делает наше решение уникальным на рынке — оно готово к применению в реальных проектах сразу „из коробки“. На этом мы не останавливаемся: в планах — дальнейшее развитие функционала в ответ на запросы наших пользователей, включая интеграцию с Ozone в ближайшем будущем.

➡️Полный список изменений версии ADS 3.9.1.1.b1 по ссылке >>

#ArenadataStreaming