Все презентации спикеров, выступавших на конференции Arenadata «Большие данные большой страны», мы собрали здесь. Нам очень важна ваша обратная связь! Чтобы поделиться с нами мнением о прошедшей конференции и выбрать наиболее понравившиеся доклады, заполните, пожалуйста, эту анкету. Ваши пожелания мы обязательно учтём при подготовке новых мероприятий Arenadata!

Arenadata выпустила важные обновления технической документации. Портал технической документации Arenadata пополнила новая документация по Arenadata QuickMarts (ADQM), Arenadata DB Backup Manager (ADBM) и Arenadata DB (ADB). Помимо этого, обновлены разделы по Arenadata Streaming (ADS), Arenadata Hadoop (ADH), Arenadata Postgres (ADPG) и Arenadata Cluster Manager (ADCM). Внешний вид портала также претерпел изменения, направленные на улучшение пользовательского опыта.

Arenadata QuickMarts (ADQM)
В первый релиз технической документации вошли руководства по планированию и установке кластера ADQM через ADCM. Добавлены статьи, посвящённые архитектуре и модели данных ADQM, ключевым особенностям ADQM как базы данных. Приведено большое количество примеров работы с различными типами таблиц. Описаны возможные способы подключения к ADQM, доступные виды аутентификации и авторизации, а также управление кластером ADQM через ADCM.

Читать документацию Arenadata QuickMarts >>

Arenadata DB Backup Manager (ADBM)
Описаны функционал, архитектура решения и основные концепции, на которых строится формирование бинарных бэкапов в ADBM. Добавлены статьи, описывающие подключение к ADBM через веб-интерфейс и настройку конфигураций, используемых для формирования бэкапов и других кластерных действий. Освещены просмотр списка бэкапов и деталей по каждому бэкапу, запуск кластерных действий, просмотр списка действий и информации по каждому действию.

Читать документацию Arenadata DB Backup Manager >>

Arenadata DB (ADB)
Наряду с руководством по работе с ADBM, в первый релиз новой документации по ADB вошли руководство по установке кластера ADB через ADCM и блок статей, посвящённых модели данных ADB и работе с таблицами. В статьях приведено множество примеров и даны рекомендации по использованию различных типов таблиц, партиционированию, распределению данных, использованию табличных пространств и spill-файлов.

Читать документацию Arenadata DB >>

Arenadata Cluster Manager (ADCM)
В документации ADCM описана возможность использования PostgreSQL, добавлены руководство по миграции данных из SQLite в PostgreSQL, информация про импорт/экспорт сервисов и справка по открытию описания API ADCM. В раздел со справочными руководствами включена статья по модулям и плагинам Ansible.

Читать документацию Arenadata Cluster Manager >>

Arenadata Postgres (ADPG)
Описана балансировка нагрузки на базе HAProxy, доступная в Enterprise Edition ADPG. В рамках руководства по установке ADPG в статьи, посвящённые добавлению сервисов и компонентов, добавлена информация о новом сервисе Balancer. Обновлён раздел, описывающий кластерные и сервисные действия ADPG. Отмечены действия, доступные для Balancer; удалены действия, которые ранее использовались для установки расширений contrib и PostGIS (теперь они предустановлены в ADPG). Отредактирована статья, описывающая работу с расширениями, и подготовлена статья, посвящённая логической репликации. Добавлено описание возможных сценариев использования ADPG. Существенно отредактированы и дополнены практическими примерами статьи, посвящённые управлению доступом на уровне строк и столбцов.

Читать документацию Arenadata Postgres >>

Arenadata Hadoop (ADH)
Добавлена статья, поясняющая принцип минорного/мажорного обновления бандлов ADH/ADPS. Переведены и отредактированы материалы по работе с командной строкой Hadoop. Добавлены статьи с описанием FreeIPA.

Читать документацию Arenadata Hadoop >>

Arenadata Streaming (ADS)
Описана возможность удаления сервисов из кластера, обновлен список версий поддерживаемых сервисов. Добавлены статьи с описанием авторизации для сервиса NiFi, расширена статья с описанием кластерных действий.

Читать документацию Arenadata Streaming >>

Внешний вид портала технической документации
Существенно обновлён внешний вид портала технической документации Arenadata: основные изменения направлены в первую очередь на улучшение UX. В частности, для более комфортного чтения заменён шрифт, увеличен междустрочный интервал, обновлены цвета обеих тем. Наряду с этим упрощена главная страница сайта и обновлён дизайн практически всех элементов интерфейса на продуктовых страницах, включая навигационное меню, таблицы, сворачиваемые блоки и элементы, используемые для пагинации. В результаты поиска по документации добавлен вывод версии продукта, в рамках которой найдено искомое слово. Внешний вид форм поиска также оптимизирован.

Перейти на портал технической документации Arenadata >>

Arenadata проводит опрос по потреблению контента. Нам очень важно, чтобы клиенты и партнёры читали о нас там, где им это будет удобно. Поэтому, пожалуйста, уделите пару минут и пройдите короткий опрос «Какие СМИ вы читаете?».

С удовольствием делимся с вами фотографиями с нашей клиентской конференции «Большие данные большой страны». Посмотреть и скачать их можно по ссылке.

Развитие баз данных в РФ, архитектуру и принципы создания высоконагруженных систем, технологии и практики для обеспечения их отказоустойчивости и безопасности обсудят эксперты ИТ-отрасли 18 мая на VK Databases Meetup. От Arenadata на мероприятии выступят технический директор Александр Ермаков и архитектор департамента поддержки продаж Александр Тарасов.

Александр Ермаков станет одним из спикеров центральной дискуссии митапа «В поисках новых героев: что происходит с СУБД в России?». Её участники рассмотрят тенденции развития БД и поговорят о том, как изменится рынок СУБД в обозримом будущем.

Александр Тарасов выступит на технологическом треке с докладом «Выбираем инструменты для миграции с зарубежных СУБД на примере Oracle». Он расскажет, какие задачи компании придётся решать при миграции с Oracle, какие технологии и инструменты для этого выбрать, какие подводные камни могут возникнуть в процессе миграции.

Ознакомиться с программой VK Databases Meetup и зарегистрироваться можно здесь.

Программу учебного центра Arenadata пополнил новый курс «Архитектура платформы данных», первый поток которого стартует уже 30 мая. Он актуален для системных архитекторов, экспертов, тимлидов и других специалистов, занятых в планировании архитектуры ПО, технологических стеков и (или) ландшафтов данных крупных предприятий.

В рамках курса слушатели получат представление о современных практиках построения корпоративных архитектур и ландшафтов данных. В нём будет представлен обзор актуального программного обеспечения, применяемого в корпоративных информационных системах, типового построения интеграции ПО по работе с данными и причин изменения существующих архитектур.

Подробности читайте в новости.

Arenadata показала сильные позиции на Технологической карте российского ПО, составленной экспертами РДТЕХ по итогам исследования российского ИТ-рынка. Это графическое отображение ситуации на ИТ-рынке, позволяющее оценить возможности продуктов и самих производителей. На основе оценки по ключевым параметрам вендоры и решения разбивались на четыре группы: «лидеры», «претенденты», «провидцы» и «нишевые игроки».

Как прокомментировали эксперты РДТЕХ, среди всего пула вендоров, упомянутых участниками исследования, они отнесли Arenadata к вендорам, которые смогли реализовать свои технологические преимущества и находятся в процессе перехода из категории «провидцев» в «лидеры». Среди промышленных платформ для реализации аналитических задач Arenadata является очевидным лидером.

Подробнее о методологии исследования рассказываем здесь.

Разработчик решений для эффективной работы с данными и продвинутой аналитики компания «Иннодата» выбирает решение Arenadata Catalog компании «ДатаКаталог» для реализации комплексных проектов по организации хранения, обработки и анализа данных на базе импортонезависимых технологий.

В рамках заключённого соглашения о стратегическом сотрудничестве «Иннодата» планирует использовать Arenadata Catalog в проектах по управлению данными, а также по внедрению собственного D/MLOps-решения для продвинутой аналитики с применением машинного обучения.

Комбинация двух технологий — управления качеством данных (Data Governance) и автоматизации жизненного цикла моделей машинного обучения (MLOps) — даёт возможность обеспечить заказчику единый подход к пониманию данных на уровне всей организации, расширить применение ML внутри компании и снизить time-to-market для решений на основе технологий искусственного интеллекта.

Что думают об Arenadata представители ведущих российских компаний? Какие ассоциации мы у них вызываем? В чём секрет нашего успеха? Что от российских вендоров сейчас ждут заказчики? Эти и другие вопросы мы задали гостям и участникам нашей клиентской конференции «Большие данные большой страны».

Напомним, что конференция Arenadata собрала более 1200 представителей госсектора и коммерческих компаний. В мероприятии приняли участие руководители IТ-департаментов и CDO из нескольких сотен крупнейших организаций России, включая «Алроса», аэропорт «Шереметьево», ПИК, «Альфа-Банк», «Русагро», МТС, РЖД, «Лукойл», «Газпром», «Норникель», «Северсталь», «Татнефть», НЛМК, «МегаФон», ММК, ВТБ и ПСБ. Своим опытом цифровизации в новых условиях, кейсами мигрaции и построения хранилищ данных на базе российского ПО поделились Сбер, ММК, ВТБ, ПСБ, «Комус», «Ашан», «Детский Мир», X5, ФНС России и Ак Барс Банк.

Какие мировые и отечественные тренды в области работы с данными актуальны сегодня? Какие появились новые подходы к IT-архитектуре? Что собой сейчас представляет корпоративная платформа данных Arenadata Enterprise Data Platform (EDP)? Как будут развиваться наши продукты? Об этом и многом другом технический директор Arenadata Александр Ермаков рассказал на клиентской конференции «Большие данные большой страны».

Он подчеркнул, что весь 2022 год на российском IT-рынке был посвящен обеспечению безопасности. В дальнейшем развитие отечественного стека технологий будет проходить в соответствии с такими общемировыми тенденциями, как движение к эластичным облачным инфраструктурам, бессерверным конфигурациям и технологиям In-Memory, Cloud native и AI Cloud Service.

Forbes в статье «Большие данные и миграция на отечественное ПО: тренды и взгляд в будущее» рассказывает о том, как прошла клиентская конференция Arenadata.

Напомним, что более 1200 представителей госсектора и коммерческих компаний собрались для обсуждения актуальных для индустрии вопросов: жизнь без западных вендоров, опыт миграции на российское ПО, тренды и вызовы отрасли Big Data, ожидания заказчиков от отечественных разработчиков и дорожная карта развития новых технологий.

Представляем вашему вниманию дайджест продуктовых релизов Arenadata за март и апрель. Мы выпустили обновления Arenadata DB, Arenadata Cluster Manager, Arenadata Postgres, Arenadata Streaming, Arenadata Hadoop и Arenadata QuickMarts.

Ядро Arenadata DB обновлено до версии 6.23.3, включены доработки в бандле и большой список исправлений. В Arenadata Cluster Manager появилось внешнее хранилище метаданных, возможности при реализации бандлов. В Arenadata Postgres теперь есть функционал балансировки нагрузки на кластер.

В новом релизе Arenadata Streaming обновлён Kafka Connect, включены настройки сервисов для групп хостов и расширение списка действий над Schema Registry. В Arenadata Hadoop добавлено расширение функционала сервиса Airflow2, обновлены Hive и добавлен выбор версии TLS для сервисов.

В Arenadata QuickMarts поднята базовая версия Clickhouse до 22.8.12.45-lts, добавлены поддержка AstraLinux 1.7 и новые возможности по настройке Kerberos и SSL.

Подробности читайте в новости.

ОТП Банк, входящий в международную финансовую Группу ОТП (OTP Group), разрабатывает новое корпоративное хранилище данных на Arenadata DB — масштабируемой аналитической СУБД, построенной на технологии с открытым исходным кодом Greenplum.

Пилотный проект по построению корпоративного хранилища стартовал в ОТП Банке в 2022 году, когда было принято решение мигрировать с Oracle Exadata. За 15 лет использования текущего хранилища, объём которого составляет ~100 Тб, у организации накопился большой архитектурный долг. Требовалось уменьшить негативное влияние на системы-источники в процессе загрузки инкрементальных данных, вынести нецелевой функционал, снизить затраты на инфраструктуру за счёт использования многотемпературного хранилища.

Что учитывали специалисты ОТП Банка при выборе СУБД, почему предпочли Arenadata DB и с какими результатами завершился пилотный проект рассказываем в новости.