Media is too big
VIEW IN TELEGRAM
Развитие подходов к разработке 👨💻
Раньше хранилища строили по классике – долго и с издержками: высокий TTM, узкое горлышко, перегруз центральной дата-команды.
Потом появились новые технологии – они упростили жизнь инженеров и ускорили процессы.
Но Data Mesh меняет не инструменты, а сам подход к разработке. Что будет, если соединить его с технологиями?
Рассказываю в новом видео▶️
Раньше хранилища строили по классике – долго и с издержками: высокий TTM, узкое горлышко, перегруз центральной дата-команды.
Потом появились новые технологии – они упростили жизнь инженеров и ускорили процессы.
Но Data Mesh меняет не инструменты, а сам подход к разработке. Что будет, если соединить его с технологиями?
Рассказываю в новом видео
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍4❤3
Хочу рассмотреть несколько трендов в сфере DWH, которые сейчас явно прослеживаются.
Если мы говорим, про «умопомрачительные» объемы данных и big tech организации, то там конечно сейчас все чаще «выстреливает» гибридная lakehouse архитектура и всякие Delta Lake, Iceberg. Как и любая технология, DWH стремится отойти от монолитной не масштабируемой архитектуры к более эластичным вариантам. Да и к тому же аналитические движки становятся все быстрее: DuckDB заявляют в разы лучше любой MPP базы.
Конечно, 90% компаний до сих пор сидят на MSSQL или PostgreSQL. Потому что у них данных «с гулькин нос».
Раньше мы использовали ETL-инструменты, которые вытаскивали данные из источников, преобразовывали их «на лету», а потом вставляли в хранилище.
Сейчас мы повсеместно перешли от этого подхода к подходу – сначала вставь данные, потом трансформируй. А проприетарные ETL-инструменты, которые еще имели невероятно большой ценник, ушли в прошлое. Мы видим явную победу скриптовых ELT-фреймворков.
Главная цель – упрощение работы и прозрачность полученных результатов. Python ELT фреймворки или dbt гораздо легче поддерживаются и гораздо прозрачнее, нежели SSIS или SAS DI с их красивыми стрелочками и блоками.
Вот это очень заметный тренд последних 5 лет.
Мне самому всегда было удивительно, почему в разработке приложений и Систем выстроены серьезные процессы: версионирование кода, unit-тесты, релизы, ci/cd – а в DWH ничего подобного нет? Банально корректность полученных метрик в DWH не проверяем.
Сейчас же все потихоньку меняется. К разработке отчетных витрин начинают относится как к разработке полноценного приложения. С приходом скриптовых ELT пришло и версионирование в Git. Появляются фреймворки для проверки качества данных и проведения unit-тестов над таблицами. Data contract-ы для выстраивания взаимодействия различных подразделений, data catalog для документации, разные версии отчетных витрин и релизы.
Раньше DWH-разработчик не считался полноценным разработчиком. Теперь же это такой же специалист и процессы у него «программистские».
Я сознательно не стал затрагивать тему облаков, так как для России это больная тема. Скажу лишь, что мы наверняка тоже перейдем когда-нибудь на облачные решения. Просто это не так быстро произойдет.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Как за 15 минут сделать бизнес-описание всей базы данных и BI-отчетности с помощью ИИ 🤖
Когда документация устаревает, аналитика перестает работать. Метаданные разбросаны, отчеты описываются вручную, а поиск нужной таблицы превращается в квест.
📆 25 ноября в 11:00 (МСК) приглашаем на бесплатный онлайн-вебинар с Павлом Хамриным (Lasmart).
Разберем:
— почему документация по данным всегда отстает от реальности;
— как AI помогает описывать таблицы, отчеты и процедуры за минуты;
— как «научить» модель понимать корпоративные термины;
— как DataDesc автоматизирует документацию и интегрируется с data-catalog.
👨💻 Кому будет полезно: data-инженерам, аналитикам, архитекторам DWH, BI-руководителям — и всем, кто отвечает за достоверность данных.
Павел Хамрин — руководитель направления AI в Lasmart. Более 10 лет опыта во внедрении аналитических решений: DWH, OLAP и BI-систем. В компании отвечает за развитие продуктов в области автоматизации работы с данными и AI-документации.
🎁 Бонус всем участникам: сравнение ИИ-моделей для формирования документации.
📎 Ссылка на регистрацию
Когда документация устаревает, аналитика перестает работать. Метаданные разбросаны, отчеты описываются вручную, а поиск нужной таблицы превращается в квест.
📆 25 ноября в 11:00 (МСК) приглашаем на бесплатный онлайн-вебинар с Павлом Хамриным (Lasmart).
Разберем:
— почему документация по данным всегда отстает от реальности;
— как AI помогает описывать таблицы, отчеты и процедуры за минуты;
— как «научить» модель понимать корпоративные термины;
— как DataDesc автоматизирует документацию и интегрируется с data-catalog.
👨💻 Кому будет полезно: data-инженерам, аналитикам, архитекторам DWH, BI-руководителям — и всем, кто отвечает за достоверность данных.
Павел Хамрин — руководитель направления AI в Lasmart. Более 10 лет опыта во внедрении аналитических решений: DWH, OLAP и BI-систем. В компании отвечает за развитие продуктов в области автоматизации работы с данными и AI-документации.
🎁 Бонус всем участникам: сравнение ИИ-моделей для формирования документации.
📎 Ссылка на регистрацию
👍5🔥5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
❤1👍1🔥1🤩1
Please open Telegram to view this post
VIEW IN TELEGRAM
lasmart.ru
Онлайн-вебинар: «Как за 15 минут сделать бизнес-описание всей базы данных и BI-отчётности с помощью ИИ» 25-11-2025
Подробно разберем и пошагово покажем, как современные AI-модели автоматически формируют бизнес-описания для БД, отчётов и процедур.
👍2❤1🔥1
Уже завтра в 11:00 (МСК) пройдёт вебинар «Как за 15 минут сделать бизнес-описание всей базы данных и BI-отчётности с помощью ИИ?»
Каждому зрителю мы дарим таблицу «Сравнение LLM в части формирования документации» — наглядное сравнение моделей по точности бизнес-описаний таблиц, отчётов и процедур.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Присоединяйтесь!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2🔥2
Мы на низком старте!
➡️ Подключайтесь по ссылке — https://start.bizon365.ru/room/141460/biznes_opisanie
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3🔥3
Коллеги, вебинар успешно прошел — всем спасибо за участие!
Если у вас остались вопросы — делитесь в комментариях ниже!
⌨️ Пропустили эфир? Мы можем прислать вам запись и презентацию!
Для этого напишите на нашу почту biwebinar@lasmart.ru слово «Вебинар» ✉️
Если у вас остались вопросы — делитесь в комментариях ниже!
Для этого напишите на нашу почту biwebinar@lasmart.ru слово «Вебинар» ✉️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥5❤3
Нет документации = нет проблем (пока)
Привычный сценарий: молодая компания в какой-то момент осознает, что больше не может развиваться на ручной отчетности: Excel, выгрузки, какие-то сводные таблицы — все это перестает масштабироваться. И компания принимает решение: делаем хранилище данных🎉
Нанимают одного, двух, трех, четырех data-инженеров, столько же аналитиков (либо подключают интегратора).
Проходит несколько месяцев, полгода, год, и вот:
— у компании есть хранилище данных
— есть BI-отчетность
— отчеты автоматизированы
— все работает
— все довольны
Но компания растет, растет и объем данных, количество бизнес-процессов – становится больше таблиц, витрин, логики.
И именно здесь о документации уже нужно думать, но об этом опять никто не думает.
Потому что «пока все работает». Пока🥲
А потом наступает момент, когда все понимают одну простую вещь: таблиц стало так много, что среди них невозможно что-то найти.
И вот бедные аналитики и инженеры тратят время не на построение новых моделей, не на оптимизацию, не на аналитику —
а просто на поиск данных🔎
Каждый новый запрос превращается в попытку понять, в какой из 200 таблиц лежит нужная сущность, что она значит, откуда взялась и как менялась.
А если вдруг встает вопрос какого-нибудь рефакторинга хранилища – просто представьте, в каком ужасе будут те, кто за него отвечает!
И не на рефакторинг как таковой,
а на то, чтобы разбираться в существующем хранилище:
— что там лежит
— откуда это взялось
— зачем это было сделано
— как это работает
— и почему все устроено именно так
— …и только потом работа.
Так что да, все верно: нет документации = нет проблем.
Но только пока.
Привычный сценарий: молодая компания в какой-то момент осознает, что больше не может развиваться на ручной отчетности: Excel, выгрузки, какие-то сводные таблицы — все это перестает масштабироваться. И компания принимает решение: делаем хранилище данных
Нанимают одного, двух, трех, четырех data-инженеров, столько же аналитиков (либо подключают интегратора).
Проходит несколько месяцев, полгода, год, и вот:
— у компании есть хранилище данных
— есть BI-отчетность
— отчеты автоматизированы
— все работает
— все довольны
И именно на этом этапе почти никто не думает о документации.
Потому что главная задача — вообще запустить автоматизацию.
Документация откладывается на «потом», «когда будет время»📆
Но компания растет, растет и объем данных, количество бизнес-процессов – становится больше таблиц, витрин, логики.
И именно здесь о документации уже нужно думать, но об этом опять никто не думает.
Потому что «пока все работает». Пока
А потом наступает момент, когда все понимают одну простую вещь: таблиц стало так много, что среди них невозможно что-то найти.
И вот бедные аналитики и инженеры тратят время не на построение новых моделей, не на оптимизацию, не на аналитику —
а просто на поиск данных
Каждый новый запрос превращается в попытку понять, в какой из 200 таблиц лежит нужная сущность, что она значит, откуда взялась и как менялась.
А если вдруг встает вопрос какого-нибудь рефакторинга хранилища – просто представьте, в каком ужасе будут те, кто за него отвечает!
Когда нет документации, интеграторы автоматически закладывают
плюс 30–40% к стоимости
💰
И не на рефакторинг как таковой,
а на то, чтобы разбираться в существующем хранилище:
— что там лежит
— откуда это взялось
— зачем это было сделано
— как это работает
— и почему все устроено именно так
— …и только потом работа.
Так что да, все верно: нет документации = нет проблем.
Но только пока.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Способы ведения документации к хранилищу: от классики до document as code
Коротко разобрали плюсы и минусы каждого варианта — смотрите в карточках ➡️
Коротко разобрали плюсы и минусы каждого варианта — смотрите в карточках ➡️
👍2❤1🔥1
Официальный сертификат подтверждает корректную и стабильную работу продукта в инфраструктуре, построенной на базе РЕД ОС 8.
DataDesc AI – AI-платформа для автоматической генерации и поддержки актуальной документации по DWH, базам данных и BI-отчётам.
Решение объединяет данные из СУБД и BI-систем в единую систему знаний: автоматически описывает таблицы, поля, связи, SQL-логику, отчёты и метрики, обеспечивает быстрый поиск и понятную интерпретацию данных для бизнеса.
Подробнее — в релизе на сайте.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Data Catalog: must-have инструмент?
Data Catalog задумывались как инструмент «для всех»: для тех, кто пользуется данными, и для тех, кто их описывает.
В теории все выглядит идеально:
— автоматически подключаются к СУБД
— считывают и сохраняют структуру баз данных
— позволяют вести бизнес-описания таблиц и колонок
— хранить lineage, схемы, SQL-логику и версии объектов
— описывать не только таблицы, но и дашборды
— обсуждать изменения прямо внутри каталога
Но, как обычно, есть «но»:
1️⃣ Сложность
Каталоги громоздкие, интерфейсы не самые дружелюбные. Впрочем, если инструмент закрывает половину вселенной Data Governance, простым он быть не может.
2️⃣ Ручная работа
Метаданные подтягиваются автоматически, структуры – тоже. А вот бизнес-описания…пишутся руками.
Рутину никто не любит, поэтому сценарий почти всегда один и тот же: Data Catalog внедрен, метаданные есть, бизнес-описаний – ноль.
Что с этим делать? Как перестать тратить часы на рутинное описание данных
и высвободить время для действительно важных задач? Ответ очевиден – искусственный интеллект.
Ставьте 👍, если тема интересна.
В следующем посте разберем, как ИИ меняет работу с Data Catalog и документацией данных на практике.
Data Catalog задумывались как инструмент «для всех»: для тех, кто пользуется данными, и для тех, кто их описывает.
В теории все выглядит идеально:
— автоматически подключаются к СУБД
— считывают и сохраняют структуру баз данных
— позволяют вести бизнес-описания таблиц и колонок
— хранить lineage, схемы, SQL-логику и версии объектов
— описывать не только таблицы, но и дашборды
— обсуждать изменения прямо внутри каталога
По сути, Data Catalog — это фундамент для полноценного управления данными. Сегодня это must-have для крупных компаний (и тех, кто собирается ими стать).
Но, как обычно, есть «но»:
1️⃣ Сложность
Каталоги громоздкие, интерфейсы не самые дружелюбные. Впрочем, если инструмент закрывает половину вселенной Data Governance, простым он быть не может.
2️⃣ Ручная работа
Метаданные подтягиваются автоматически, структуры – тоже. А вот бизнес-описания…пишутся руками.
Рутину никто не любит, поэтому сценарий почти всегда один и тот же: Data Catalog внедрен, метаданные есть, бизнес-описаний – ноль.
Что с этим делать? Как перестать тратить часы на рутинное описание данных
и высвободить время для действительно важных задач? Ответ очевиден – искусственный интеллект.
Ставьте 👍, если тема интересна.
В следующем посте разберем, как ИИ меняет работу с Data Catalog и документацией данных на практике.
👍11❤3
Media is too big
VIEW IN TELEGRAM
AI и документация: как попросить ИИ описать данные?
Рассказывает Павел Хамрин, руководитель AI-направления Lasmart💬
Рассказывает Павел Хамрин, руководитель AI-направления Lasmart
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥1
Media is too big
VIEW IN TELEGRAM
🎄 Друзья, с наступающим Новым годом!
Этот год был разным — насыщенным, рабочим, местами непростым, но точно важным.
Спасибо за совместную работу в этом году, за доверие, открытый диалог и интерес к нашим решениям.
Пусть новый год принесет больше спокойных дней, ясных решений и поводов радоваться — и в работе, и за её пределами.
Желаем вам здоровья, сил, спокойствия в работе и времени для близких.
С Новым годом!
Пусть 2026 год будет добрым и удачным для вас и ваших семей.
Этот год был разным — насыщенным, рабочим, местами непростым, но точно важным.
Спасибо за совместную работу в этом году, за доверие, открытый диалог и интерес к нашим решениям.
Пусть новый год принесет больше спокойных дней, ясных решений и поводов радоваться — и в работе, и за её пределами.
Желаем вам здоровья, сил, спокойствия в работе и времени для близких.
С Новым годом!
Пусть 2026 год будет добрым и удачным для вас и ваших семей.
🔥4❤3👍3