Arenadata Catalog News
201 subscribers
22 photos
30 links
Новостной канал компании DataCatalog. Рассказываем о передовых инструментах по управлению данными и контролю их качества
Сайт: https://arenadc.io
Download Telegram
Дорогие друзья! 🌟

В канун новогоднего праздника команда Arenadata Catalog желает Вам счастья, мира и благополучия. Мы благодарим Вас за доверие и терпение, с вашей помощью, участием и поддержкой мы достигли многого в 2023 году. Пусть следующий год будет наполнен спокойствием, новыми достижениями, радостью и яркими эмоциями!

С наступающим Новым годом! 🎄
Скоро увидимся!
Please open Telegram to view this post
VIEW IN TELEGRAM
👁️‍🗨️Новая версия Arenadata Catalog: удобство, производительность и больше контроля

Первая рабочая неделя 2024 года завершилась релизом новой версии Arenadata Catalog.
Версия 0.6 содержит важные улучшения повышающие продуктивность работы пользователей и администраторов системы:

Поддержка импорта и экспорта данных бизнес-глоссария в формате XLSX позволяет многократно ускорить миграцию глоссария с устаревших систем и облегчить массовое редактирование объектов используя привычный инструмент
Продолжаем начатую в версии 0.5.2 кастомизацию интерфейса. Цветовое оформление можно адаптировать под принятую в вашей организации палитру, а если эксперименты не удались, то вернуться к заводским настройкам можно нажатием одной клавиши
Автоклассификация персональных данных соответствует практике 152 ФЗ
Автоматическое построение ER-диаграмм. ER-диаграмма отображает связи между сущностями и наглядно представляет логическую структуру базы данных. Этот функционал облегчит работу администраторам СУБД и дата-инженерам
Преднастроенные дашборды метрик производительности упрощают администрирование Arenadata Catalog

👉 На следующей неделе развернем новую версию на демостенде, а пока можно познакомиться с полным описанием релиза
Сводка последних событий ДатаКаталог

Облачный демостенд Arenadata Catalog бьет рекорды. В один из январских дней на нем одновременно работало 25 пользователей - это стало для нас приятным сюрпризом. Изначально задуманный как песочница для одного из наших клиентов, проект быстро стал ценным инструментом для тестирования и апробации. Мы продолжаем активно развивать и улучшать демостенд, и недавно успешно интегрировали его с BI платформой Superset. Теперь пользователи могут визуально отслеживать связи данных от источника до дашборда, а также привязывать ключевые термины из бизнес-глоссария к диаграммам в Superset. 📊

Новый минорный релиз 0.6.1 вышедший на прошлой неделе содержит долгожданный функционал импорта S2T-файлов для построения потоков происхождения данных, а также ряд адресных улучшений.
👉 Подробное описание релиза доступно по ссылке

На предстоящей конференции "Качество данных 2024» команда ДатаКаталог представит новые возможности модуля DQ на докладе «Библиотека качества данных. Где хранить тесты?». Смотрите выступление и приходите на наш стенд за подробностями. Уже скоро: 14.02.2024. 🗓
Please open Telegram to view this post
VIEW IN TELEGRAM
Качество данных играет решающую роль в достоверной аналитике и принятии обоснованных решений на основе данных. Разработка этого функционала становится ключевым направлением развития Arenadata Catalog в 2024 году.
👉 Узнайте больше посмотрев запись доклада Ивана Новоселова и Артёма Нестерчука.
Please open Telegram to view this post
VIEW IN TELEGRAM
Каталог данных машинное обучение

Присоединяйтесь к вебинару, посвященному применению каталога данных для увеличения эффективности MLOps.

19 марта эксперты Arenadata Catalog и Иннодата поделятся опытом, как интеграция каталога данных и фабрики MLOps увеличенивает эффективность машинного обучения и снижает нагрузку на команду разработчиков. Вас ждет обзор решения и демонстрация систем на примере практического кейса.

👉 Зарегистрируйтсь по ссылке

Ждем вас!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
04 апреля Иван Новосёлов, генеральный директор «ДатаКаталог», участвует в вебинаре «Прогнозная аналитика и AI/ML для крупных корпоративных клиентов»

Эксперты из крупнейших компаний обсудят перспективы прогнозной аналитики, искусственного интеллекта и машинного обучения.
Ждем вас на вебинаре в четверг, 🕔 4 апреля в 17:00  

Для участия необходимо зарегистрироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Внимание вебинар!

Присоединяйтесь к вебинару, посвященному обзору новых функциональных возможностей Arenadata Catalog

На вебинаре проведем обзор системы и уделим внимание новым функциональным возможностям появившимся в свежих версиях ADC: генерация ER диаграмм, расширение визуализации data lineage, связь объектов глоссария с физической структурой данных.

Вебинар состоится 22 мая при поддержке компании DBI
🔜Регистрируйтесь по ссылке и готовьте вопросы: https://pruffme.com/landing/u2789671/tmp1713257409
Please open Telegram to view this post
VIEW IN TELEGRAM
Расширяем экосистему коннекторов к источникам метаданных

📊 Эффективное управление метаданными означает возможность построения графа происхождения данных от момента их появления до момента финального использования. Часто такой конечной точкой является дашборд BI-системы.

🔗 Компания DataCatalog разработала коннектор для сканирования метаданных BI платформы Visiology. Настроив оптимальное расписание, можно проводить автоматизированное сканирование системы и получать полную информацию о перечне объектов Visiology, включая дашборды, чарты, типы чартов и их описания. Дата-инженеры наглядно увидят пути трансформации данных, могут выявлять аномалии и отслеживать происходящие изменения. Бизнес-пользователи получают возможность связывать объекты бизнес-глоссария ADC с соответствующими чартами Visiology.

👉 Коннектор включен в дистрибутив ADC начиная с версии v0.6.2.2
Please open Telegram to view this post
VIEW IN TELEGRAM
Делимся записями выступлений спикеров прошедшего в конце июня митапа Вино и Данные.👇

🔴Алиса Школьникова (ДАР, КОРУС Консалтинг) рассказала, что общего у качественного вина и качественных данных, и как это влияет на результат

🔴Артем Нестерчук (Arenadata Catalog) рассказал, на какой же полке (винного шкафа) хранить тесты качества и какой экономический эффект дает внедрение каталога данных

🔴 Ярослав Золотухин (Luxms) показал, как Luxms BI может помочь выбрать вино. Отличный лайфхак для тех, кто выбирает вино по этикетке - теперь будет шанс найти не только красивое, но и вкусное:)

🔴Владимир Митюшкин (Simple) поделился секретами виноделия, интересными фактами о винной культуре и географии виноградников

Обязательно посмотрите, лучше под бокал вина минералки🍷☺️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔐 Аутентификация в Arenadata Catalog

🔴 Обеспечение безопасного доступа к метаданным становится актуальной задачей для российских организаций внедряющих процессы Data Governance.
Интеграция Arenadata Catalog с сервером аутентификации Blitz Identity Provider позволяет использовать надежную идентификацию и аутентификацию.
Совместная работа продуктов была проверена в рамках испытаний, проведенных на специально развернутом стенде. Интеграция обеспечит пользователей передовыми функциями безопасности для защиты данных и управления доступом, что особенно важно в условиях повышенных требований к информационной безопасности.

👉 Более подробно здесь
🍁Осень — начало бизнес-сезона и традиционное время для проведения конференций и выставок. Не стал исключением и 2024 год.
Делимся планам на ближайший месяц.


📅 17 сентября DataCatalog участвует в первой партнерской конференции Luxms. В докладе расскажем о ценности настроенных процессов Data Governance для эффективного управления бизнес-аналитикой. Конференция пройдет в двух форматах: очное участие и дистанционный формат. Будем рады увидеться лично, регистрация по ссылке

🗓 26 сентября выступаем на большой конференции по управлению данными, проводимой издательским домом "Открытые Системы". За последние годы конференция стала экспертной площадкой для обмена мнениями и отчетами о достигнутых результатах участников российской индустрии Data Governance. На выступлении дадим отчет о двухлетнем опыте работы нашей компании и поделимся результатами выполненных внедрений Arenadata Catalog. Ссылка на регистрацию

🗓 03 октября планируем участвовать в конференции IT Space. Это одно из крупнейших мероприятий, затрагивающее всё многообразие российских IT-продуктов и технологий. Естественно, такое мероприятие не могло обойти вниманием тему управления данными. Вместе с коллегами из Arenadata и Visiology будем работать на стенде и демонстрировать интеграцию продуктов управления данными и аналитики. Программа и регистрация на конференцию по ссылке

Увидимся
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⭐️ Все под контролем: качество данных, активность пользователей и каталогизация метаданных

Даже в небольшой организации, внедряющей процессы Data Governance, каталог данных может содержать информацию о десятках тысяч объектов метаданных, сотнях наборов тестов качества данных и тысячах объектов глоссария.

👉 В статье разобрали насущный вопрос, каким образом можно взглянуть на выполнение KPI процессов Data Governance и как настроить регулярный мониторинг этих показателей при помощи кастомизированной отчетности.
🚀 Управление данными в мире HighLoad

Все больше организаций встречаются с необходимостью применения высоконагруженных систем для анализа данных в режиме реального времени. Для решения этих задач существует отдельный класс резидентных СУБД, которые хранят данные в оперативной памяти, обеспечивая непревзойденную производительность и одновременно высокую персистентность. Представителем подобных систем является СУБД Picodata.

Лишь некоторые каталоги данных могут похвастаться возможностью сканирования метаданных систем Highload. Команда ДатаКаталог завершила разработку коннектора, позволяющего включить СУБД Picodata в полноценный процесс управления данными: сканирование структуры, извлечение метаданых, назначение владельцев, управление описаниями и привязку таблиц к объектам глоссария. Новый коннектор открывает двери Data Governance в мир HighLoad.

Коннектор доступен в релизе Arenadata Catalog 0.7.3.
👉 Более подробно в статье
Please open Telegram to view this post
VIEW IN TELEGRAM
Arenadata Catalog 💟 хранимые процедуры

Многие организации применяют хранимые процедуры (предварительно скомпилированные наборы SQL инструкций) для улучшения производительности, повышения безопасности СУБД, облегчения кода и оптимизации бизнес-логики приложений работающих с данными.
Отвечая на запрос клиентов, начиная с январского релиза, Arenadata Catalog предоставляет возможности по каталогизации хранимых процедур. В каталоге появился новый класс объектов - хранимая процедура СУБД

Новый функционал позволит:
* Упростить сопровождение хранилищ данных
* Вести историю изменений процедур, что важно для аудита
* Идентифицировать все связанные с таблицами процедуры, что поможет при проведение миграций и root cause анализа
* Выявлять редко используемые или устаревшие процедуры, которые можно оптимизировать или удалить

Сканирование и импорт процедур происходит автоматически при подключении источника данных либо при очередном сканировании его метаданных, что минимизирует человеческие ошибки.
Остальные улучшения релиза по ссылке