Arenadata представила новую версию Arenadata Hadoop (ADH) — релиз 3.3.6.2. В него добавлены дата-сервисы: S3-совместимое хранилище объектов и инструмент для выполнения федеративных запросов.

⚙ В ADH реализована поддержка распределённого объектного хранилища Apache Ozone. Сервис дополняет HDFS с учётом потребностей современных дата-платформ и подходит для сред, где необходима совместимость с S3.

✅ Релиз также включает Trino, который позволяет выполнять сложные федеративные запросы — обращаться к разрозненным источникам с помощью одного и того же SQL.

🔃 Кроме того, обновлена версия Smart Storage Manager (SSM), инструмента для оптимизации хранения и управления данными в HDFS.

ℹ️ Новая версия Arenadata Hadoop совместима с РЕД ОС 7.3.

⛓ Подробнее на сайте >>

#ArenadataHadoop

«МегаФон» приступил к работам по миграции своей аналитической платформы на отечественное ПО, выбрав для этой задачи решения Arenadata.

🔃 Это внедрение позволит решать весь комплекс бизнес-задач по развитию корпоративного хранилища данных с использованием исключительно российских решений.

📂 Мобильный оператор приобрёл лицензии на 3️⃣ продукта: Arenadata DB (ADB), Arenadata QuickMarts (ADQM) и Arenadata Hadoop (ADH).

❤️ Базовым компонентом КХД станет Arenadata DB. Этот продукт обеспечивает сбор, трансформацию и интерпретацию данных, поступающих более чем из сотни систем-источников, в том числе биллинговых систем «МегаФона».

❤️ ADQM позволяет проводить анализ большого объёма данных значительно быстрее традиционных систем без дополнительной нагрузки на хранилище данных.

❤️ ADH (на базе Spark, Trino, Impala c возможностью хранения в HDFS и S3-совместимом Ozone) предназначен для решения прикладных задач, таких как аналитика больших данных и алгоритмы машинного обучения.

👤 Директор по управлению корпоративными данными «МегаФона» Сергей Федорченко:

«Соглашению с Группой Arenadata предшествовал этап тестирования всех продуктов компании в „МегаФоне“, который занял более полугода. Сейчас процесс миграции перешёл в активную фазу, а полный переход на отечественные решения планируется завершить до 2028 года, при этом все работы по миграции ПО будут проходить поэтапно».

⛓ Читать новость >>

#ArenadataКейсы #Мегафон #Телеком

Импортозамещение SAP BW: совместное решение Arenadata и «Северсталь-инфокома» — вебинар, который точно нельзя пропустить.

🎙 Напомним, что на этом мероприятии мы расскажем о новой отечественной платформе, способной полноценно заменить SAP BW и обеспечить полный цикл работ с данными — от моделирования и переноса объектов до их аналитической обработки.

📱 Спикеры
От Arenadata:
🟠Директор направления вертикальных решений Иван Лосик.

От «Северсталь-инфокома»:
🟠 Руководитель кластера корпоративных процессов Роман Романов.
🟠 Руководитель центра «ЭДО, структура и качество данных» кластера корпоративных процессов Сергей Герасимов.
🟠 Архитектор центра «ЭДО, структура и качество данных» кластера корпоративных процессов Андрей Первушин.
🟠 Руководитель направления «Управление системами работы ИТ» кластера корпоративных процессов Ольга Панова.

🗓 Дата: 18 февраля, 11:00 мск.
👥 Формат: онлайн.
ℹ️ Условия участия: бесплатно. Необходима предварительная регистрация >>

#ArenadataEvent

💚 Подписывайтесь на Arenadata!

Arenadata продолжает укреплять сотрудничество с ведущими вузами и инвестировать в подготовку молодых специалистов.

💼 В рамках успешного партнёрства с Центральным университетом, первым в России STEM-вузом (Science, Technology, Engineering, Mathematics), мы запустили курс по работе с большими данными Data Engineering для магистрантов.

📖 Его слушатели получат глубокие знания в области управления и обработки данных и научатся:
🟩 загружать информацию в распределённые системы хранения;
🟩 использовать инструменты кластерных вычислений;
🟩 создавать базы в Hive и хранилища данных DWH;
🟩 организовывать потоки данных с помощью Apache Airflow.

⚡️ Программа курса разработана экспертами Arenadata и Центрального университета. На него записалось более 30 магистрантов.

👤 Директор по работе с вузами Arenadata Игорь Петров:

«Работа с университетами и подготовка молодых специалистов — стратегически важное направление для нашей компании. Мы уверены, что качественное образование, основанное на практике, помогает студентам быстрее адаптироваться к современным реалиям рынка. Курс по большим данным позволит магистрантам Центрального университета не только получить ценные знания, но и стать востребованными специалистами в ведущих компаниях страны».

🔗 Читать новость >>

Всё больше компаний принимают решения на основе больших данных, но остаются вопросы:

🉑 Насколько экономически оправданы такие проекты?
🉑 Как определить реальную ценность анализа данных для бизнеса?
🉑 Какие инструменты Big Data позволят выстроить правильную аналитику?

🔎 K2 Cloud и Arenadata провели исследование уровня зрелости рынка по проектам больших данных, которое показало:
🟧 30% опрошенных планируют увеличение бюджета на проекты big data в 2025 году.
🟧 39% применяют облачные решения.
🟧 65% начнут внедрять cloud-технологии в ближайшее время.
🟧 36% используют отечественные решения.
🟧 83% отмечают дефицит кадров по работе с большими данными.

ℹ️ В опросе приняли участие более 200 руководителей ИТ-направлений российских компаний: CIO, CTO, CDTO, CDO из сфер ритейла, FMCG, финтеха, фармацевтики, ИТ, транспорта и логистики.

👤 Директор по развитию облачного бизнеса Группы Arenadata Антон Близгарёв:

«В современном мире объёмы данных постоянно увеличиваются, и для эффективного управления ими бизнесу требуются новые подходы и решения. Традиционные методы уже не справляются с этими задачами, поэтому компании ищут альтернативы. Одним из таких решений стали облачные сервисы, предлагающие enterprise-продукты, которые становятся всё более доступными. В России сегмент облачных решений big data ежегодно прирастает на 30–40%. Эта тенденция обусловлена преимуществами облачных инструментов, такими как оптимизация затрат, расширение возможностей по управлению и сохранению данных, упорядочение рабочих процессов».

⛓ Скачать полный текст исследования >>

#BigData #ArenadataCloud

🔥🔥🔥 У нас в техническом блоге вышла новая статья!

❗️ В мае 2024 один из крупных пользователей Greenplum/Arenadata DB попросил нашу команду разработки реализовать механизм мониторинга изменений размеров файлов данных. Решение оказалось нетривиальным, но очень перспективным.   

👤 В статье «Отслеживание изменений размеров таблиц Arenadata DB» ведущий системный архитектор Arenadata Андрей Савицкий рассказывает:  
➡️ как работает новый трек изменений в arenadata_toolkit;
➡️ какие принципы мы заложили в решение;
➡️ с какими сложностями столкнулись;
➡️ каков пример мониторинга на основе этой фичи.

⛓ Читать >>

#ArenadataТехблог #ArenadataDB

Сеть предприятий быстрого питания «Вкусно — и точка» внедрила новую платформу данных: проект реализован ИТ-компанией «Технологии — и точка», а в его основу легли продукты Группы Arenadata.

⚡️ В результате «Вкусно — и точка» получила собственную современную технологическую платформу для управления данными, продвинутой аналитики и отчётности, предиктивных моделей и прогнозирования.

📝 Для построения новой технологической платформы были выбраны Arenadata DB, Arenadata QuickMarts, Arenadata Streaming, Arenadata Catalog.

❗️ Полный компонентный набор новой платформы данных включает:
🟠 системы управления реляционными и многомерными базами данных,
🟠 ETL- и BI-инструменты,
🟠 систему для работы с ML-моделями и искусственным интеллектом,
🟠 системы управления мастер- и метаданными,
🟠 интеграционную шину.

👤 CDO «Технологии — и точка» Павел Медведев:

«Мы искали российского вендора, с которым могли бы построить долгосрочное сотрудничество. При этом видели, что весь рынок замещает импортные продукты, а крупные игроки переходят либо на стек Arenadata, либо на похожие open source системы. В результате мы выбрали Arenadata, в том числе и потому, что вендор мог предоставить нам услуги по технической поддержке, а также поделиться с нашей командой своей экспертизой».

⛓ Читать новость >>

#ArenadataКейсы #ВкусноИТочка #HoReCa

⚡️ Отличные новости про Greengage!

❗️ Совсем недавно мы рассказывали, что наша команда выложила первые версии этого open source проекта, и вот теперь — технический блог! 

📁 Там уже опубликована первая статья, о подходах к масштабированию кластера в Greengage DB, включая возможности динамического уменьшения и увеличения числа сегментов.

⚙ В этом материале рассматриваются текущие методы перераспределения данных и предлагаются оптимизированные решения для минимизации времени простоя и повышения эффективности. 

📝 Также здесь вы найдёте ответы на вопросы, как Shrink в Greengage DB будет позволять:
✅ динамически сокращать число сегментов;
✅ минимизировать простой ресурсов;
✅ оптимально перераспределять данные.

⛓ Читать статью в блоге Greengage DB >>

➡️ Все новости о Greengage DB можно найти в этом каналe >>

#GreengageDB #OpenSource

С миграцией СУБД сталкиваются многие компании, когда решают задачи импортозамещения, повышения производительности и эффективности работы с данными в целом.

❤️ Зачастую возникают опасения, что в процессе данные могут быть потеряны, однако при должной подготовке такие риски можно свести к нулю.

👤 В статье «Миграция баз данных: почему это сложно?» Pre-sale архитектор Arenadata Михаил Дейсс рассказывает о двух ключевых аспектах: миграции данных и миграции кода. Он разбирает, как правильно подготовиться к каждому этапу, избежав проблем и остановки бизнес-процессов. 

В этом материале наш эксперт:
🟩 рассматривает разные стратегии миграции данных;
🟩 поясняет, что включает в себя миграция кода и как в этом помогает ИИ;
🟩 рассказывает о роли команды в проекте.

⛓ Полный текст статьи читайте на нашем сайте >>

#ArenadataМнениеЭксперта #AI #ИИ

💻 Быстрая обработка данных помогает ритейлу увеличивать чек и повышать лояльность покупателей. О том, как это происходит, читайте в новом выпуске «По нашим данным».

❤️ В розничной торговле скорость — не просто преимущество, а жизненная необходимость. Быстрая аналитика помогает увеличивать допродажи и формировать уникальный клиентский опыт.

📝 Например:

➕ Когда человек добавляет смартфон в корзину, алгоритмы на основе обработки данных мгновенно вспоминают его прошлые покупки, анализируют текущие тренды, скидки и предлагают персонализированные рекомендации.

➕ В физическом магазине касса — это не просто место для расчёта, а точка контакта с человеком. Кассиру достаточно заглянуть в профиль покупателя, чтобы сообщить ему о специальной цене на кофе, который тот часто приобретает.

👤 Директор по развитию Picodata Константин Малашенко:

«Современный ритейл — это не просто продажа товаров, а умение предугадать, что нужно покупателю ещё до того, как он сам это осознает. Быстрая обработка данных позволяет создавать уникальный клиентский путь, в котором каждая покупка сопровождается персонализированным вниманием. Те компании, которые понимают важность быстрой аналитики данных и внедряют её в своих процессах, получают конкурентное преимущество и закладывают основу для долгосрочного роста».

⛓ Читать материал >>

#ArenadataПоНашимДанным #Ритейл

🔥 На Хабре вышло интервью с основателем Picodata Константином Осиповым. В нём он рассказал об открытой разработке с точки зрения стратегии и управленческих аспектов, в том числе о лицензиях, работе с сообществом и интеграторами.

В этом материале вы найдёте ответы на вопросы:
🟥 Как технология Tarantool пришла в open source и в каком контексте это произошло?
🟥 Как было принято решение о создании Picodata и как выглядела команда на момент запуска?
🟥 Как устроено сообщество Picodata и кто вносит вклад в его развитие?
🟥 Участвуют ли специалисты Arenadata в развитии core-технологий Picodata?
🟥 Возможен ли сейчас выход Picodata на международные рынки?

«Сейчас Picodata реализует полный цикл разработки сложного инфраструктурного ПО — от ко-дизайна будущих версий с ключевыми заказчиками до услуг по внедрению и поддержке. Подавляющая часть исходного кода, который мы разрабатываем, находится в открытом доступе. Это позволяет заказчикам легко знакомиться с продуктом».

➡️ Полный текст интервью на Хабре >>

➡️ Все новости Picodata читайте в телеграм-канале Picodata News.

#ArenadataМнениеЭксперта #Picodata #Habr #ArenadataHabr

💰 Проект одного из наших заказчиков — «Россельхозбанка» — номинирован на премию Data Award.

💻 РСХБ трансформирует хранилище данных, создавая новую инфраструктуру в соответствии с концепцией Lakehouse. Проект играет значительную роль в обеспечении операционной непрерывности и конкурентоспособности банка.

👤 О его реализации в интервью порталу osp. ru рассказал директор департамента больших данных РСХБ Александр Сабуров:

«Можно сказать, что уникальность проекта заключается в быстром и бесшовном переходе с иностранной платформы данных Cloudera на отечественное решение Arenadata без приобретения дополнительного оборудования и без нарушения текущих бизнес-операций. Команда преодолела сложные технические вызовы, такие как адаптация ACID-таблиц в новой среде, где ранее такой функционал не использовался, а также интеграция решений Informatica с Arenadata и реализация методики поэтапной миграции для поддержания уровня производительности. Кроме того, проект закладывает основу для перехода на архитектуру Lakehouse, объединяя функции озера данных и хранилища данных в единой системе».

🟩 Что представляла собой инфраструктура для работы с данными до проекта?
🟩 Почему в качестве целевой была выбрана архитектура Lakehouse?
🟩 В чём уникальность проекта и каких результатов уже удалось достичь?
🟩 Какими силами был реализован проект и как он будет развиваться дальше?

⛓ Ответы на эти вопросы и не только — в интервью >>

#Россельхозбанк #Финансы #ArenadataКейсы

▪️ «Рынок интернета вещей в России демонстрирует устойчивый рост: на 12% в денежном и натуральном выражении по сравнению с 2023 годом», — пишет «Коммерсантъ».

👥 Эксперты полагают, что темпы внедрения будут зависеть от общей экономической ситуации в стране, возможностей господдержки, развития отечественного производства компонентов и доступности технологий.

💬 Комментарий по этой теме изданию «Коммерсантъ» дал также директор департамента группы Arenadata по работе с промышленным сектором Максим Власюк.

🔃 В числе основных сфер применения IoT-технологий наш эксперт выделяет промышленную автоматизацию и энергетику.

Максим также добавил:

«Важнейшую роль в этом процессе играют корпоративные хранилища данных. Они обеспечивают централизованное хранение и анализ огромных объёмов данных, поступающих от IoT-устройств».

⛓ Читать статью >>

#IoT #ArenadataМнениеЭксперта

Если вы планируете посетить ежегодный форум о банкинге будущего FinCore, обратите внимание на наш совместный доклад с Альфа-Банком по теме искусственного интеллекта.

🕔 15:15—17:45
Сессия: ИИ в финансовом секторе: переход от «баловства» на осмысленное использование? Импортозамещение в ИИ, регулирование ИИ, китайский опыт и снижение стоимости внедрений.

📁 Доклад: «Advanced RAG как основа генеративной трансформации компании».

👥 Спикеры:

🎙 Директор по ИИ и экспертным решениям Arenadata Антон Балагаев. Расскажет о стратегиях Arenadata в области ИИ, об агентах и потребностях в Retrieval Augmented Generation (RAG), о том, почему хороший RAG дороже в моменте, но лучше по TCO, а также об ограничениях в создании Advanced RAG.

🎙 Руководитель по разработке технологий для бизнес-решений на базе ИИ АО «Альфа-Банк» Сергей Денисов. Расскажет об Advanced RAG как о новом core-сервисе для среднего и крупного бизнеса, об ограничениях базового «наивного» RAG и задачах, которые может решать качественный RAG, а также о ключевых элементах обеспечения качества и широты решаемых задач.

❤️ Будем рады ответить на вопросы на нашем стенде!

🗓 Дата: 27 февраля, 8:30 мск.
📍 Место: г. Москва, Зубовский бульвар, 4, медиаплощадка «Россия сегодня».
👥 Формат: гибридный (офлайн и онлайн), подробнее здесь >>

#ArenadataEvent #FinCore2025 #AI #ИИ

💚 Подписывайтесь на Arenadata!

❤️ Сегодня данные становятся новым стратегическим ресурсом для бизнеса, играют ключевую роль в повышении качества взаимодействия с клиентами, минимизации операционных ошибок и оптимизации бизнес-процессов.

💬 В ближайшие годы развитие различных отраслей, включая банковский сектор, ретейл, промышленность и телекоммуникации, будет определяться несколькими ключевыми направлениями в области работы с данными.

👤 В своей колонке для Forbes генеральный директор Группы Arenadata Максим Пустовой рассказал о некоторых таких трендах:
🟩 улучшение качества данных;
🟩 использование приватных облаков;
🟩 взвешенный подход при внедрении ИИ.

«Компании, которые смогут эффективно интегрировать новые подходы, получат значительное преимущество, повысив операционную эффективность, качество продуктов и уровень удовлетворенности клиентов. В условиях стремительного развития технологий и растущих объёмов данных именно умение работать с данными станет ключевым фактором успеха в ближайшие годы», — отмечает Максим.

⛓ Полный текст статьи »

#ArenadataМнениеЭксперта #DataТренды

Где будущее ИТ-инфраструктуры и какую роль в этом играет ИИ? 4 марта вместе с коллегами из K2 Cloud, «Газпромбанка», X5 Group и «ТеДо» обсудим это на конференции K2 Cloud Conf.

🎙 Директор по ИИ и экспертным решениям Arenadata Антон Балагаев примет участие в дискуссии на тему «Тренды ИИ: уходящие, настоящие и будущие».
⏲ 15:30 — 17:00

📝 Вопросы для обсуждения:
⏯ ИИ сегодня. Где уже удалось получить преимущество от использования инновационных инструментов?
⏯ Будущее ИИ. Как технологии будут развиваться на горизонте пять лет?
⏯ Применение в бизнесе. Какие задачи поможет решать?
⏯ Инфраструктура для ИИ. Возможности и вызовы.

⭐️ Кому будет полезно?
CIO, CTO, CISO, директорам по IT-инфраструктуре, руководителям IT-отделов, тимлидам разработки и администрирования, инженерам-тестировщикам, ведущим специалистам по IT-инфраструктуре и информационной безопасности, DevOps-инженерам, сетевым архитекторам и администраторам, разработчикам.

🗓 Дата: 4 марта, 9:00 мск.
📍 Место: г. Москва, РБК «Центр Событий».
👥 Формат: гибридный (офлайн и онлайн).
✍️ Регистрация >>

#ArenadataEvent #K2CloudConf

💚 Подписывайтесь на Arenadata!

ИТ-холдинг Fplus внедрил каталог данных и бизнес-глоссарий на базе Arenadata Catalog. Это позволило ускорить переход к self-service аналитике и трансформировать культуру работы с данными. 

👤 Начальник управления корпоративных данных Fplus Ярослав Назаров рассказал в интервью порталу osp. ru о ходе проекта и его значении для компании.

В этом материале вы найдёте ответы на вопросы:
🟦 Какие инструменты использовались раньше в Fplus и почему был выбран Arenadata Catalog?
🟦 Какие задачи требовалось решить и с какими сложностями столкнулись в процессе?
🟦 Каких результатов удалось достичь и что значит этот проект для бизнеса компании?

«Переработка собственными силами инструментов open source не выглядела удачной идеей в силу отсутствия времени, а ключевым фактором выбора стал принятый ландшафт новых аналитических продуктов. Важно было охватить коннекторами абсолютно весь ландшафт – как системы-источники данных и старую BI-платформу, так и новые платформы self-service. Решение Arenadata Catalog включало в себя все необходимые коннекторы и позволяло строить сквозное движение (data lineage) всего потока производства данных», – поделился Ярослав.

​​📞 Эксперт также отметил, что реализация проекта действительно позволила перестроить культуру работы с данными. Теперь сотрудники могут самостоятельно заниматься аналитикой без участия специалистов дата-офиса, сократив время подготовки отчётов с нескольких дней до нескольких часов.

⛓ Читать полный текст интервью >>

➡️ Все новости компании DataCatalog читайте в телеграм-канале Arenadata Catalog News.

#Fplus #ArenadataCatalog
#ArenadataМнениеЭксперта

6️⃣ В нашем блоге на Хабре вышла новая статья «Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse».

👤 Архитектор информационных систем Arenadata Алексей Струченко в этом материале рассказывает о хранилищах данных — их видах, ключевых особенностях и о том, как выбрать подходящее решение.

⭐️ Кому будет полезно?
🟢 ИТ-специалистам и архитекторам данных;
🟢 аналитикам и специалистам по бизнес-аналитике (BI);
🟢 разработчикам DWH;
🟢 новичкам, которые только начинают разбираться в хранилищах.

➡️ Полный текст — на Хабре

📞 Будем рады вашим лайкам, добавлениям в закладки и вопросам в комментариях!

#Habr #ArenadataHabr

✏️✏️✏️
Открыта регистрация на одну из крупнейших конференций по теме DATA — ArenaDAY!

🗓 22 апреля (вторник)
⏲ 09:00 — 19:00 (мск)
📍 Soluxe Hotel Moscow (и прямой эфир на сайте)
👥 Кому будет интересно: CDO, CIO, руководителям дирекций по работе с данными, дата-архитекторам и аналитикам.

❗️ Регистрация >>

💡 ArenaDAY 2025 — это:

🟦 4 500 + участников;
🟦 5 программных треков;
🟦 бизнес-кейсы от крупнейших компаний с бизнес-результатами проектов;
🟦 презентации абсолютно новых (!) продуктов и сервисов Группы: Arenadata One, решения на базе AI и многое другое;
🟦 новости open source проекта Greengage;
🟦 обсуждение подходов к цифровизации в государственном секторе;
🟦 демозоны с партнёрскими решениями, построенными на платформе Arenadata;
🟦 отличный нетворкинг.

❗️ Обратите внимание:

✅ Формат конференции гибридный: очно и онлайн. Количество мест офлайн ограничено.
К очному участию приглашаем представителей компаний-заказчиков, организаций-спонсоров и специальных гостей конференции. Всех остальных будем рады видеть на онлайн-трансляции.

⛓ Регистрируйтесь и приглашайте ваших коллег!

#ArenaDAY

💚 Подписывайтесь на Arenadata!