⚡️ Семантический слой данных в open-source архитектуре

Все много говорят про DWH, BI, lakehouse, dbt, self-service, AI.
Но не говорят о главном – о смысле.

❓ Почему в компаниях с современными data-платформами:
– одни и те же KPI расходятся,
– отчёты приходится сверять вручную,
– self-service превращается в хаос,
– AI уверенно генерирует ерунду?

Проблема не в инструментах, а в отсутствии исполняемой семантики.
Собрали для вас большую статью о том:
🟣 почему DWH и BI не решают проблему смысла,
🟣 чем был хорош OLAP и почему мы от него ушли,
🟣 где на самом деле начинается semantic layer,
🟣 почему dbt – фундамент, но не семантика,
🟣 почему BI не должен владеть метриками,
🟣 как версионировать смысл, а не формулы,
🟣 и как это связано с AI и API.

Речь про семантический слой как архитектуру, а не про очередной инструмент.

Без этой темы дальше будет больно. Особенно если строите data-платформу, внедряете self-service или думаете об AI.
➡️ Читать

#DataForge #семантическийслой

DataForge team | Все новости о продукте

📆 Вебинар: «Семантический слой + AI-агенты: новый уровень работы с данными» – 20 апреля, 12:00

Ждем вас на вебинаре по сквозному управлению данными с помощью AI-агентов на платформе DataForge!

⚡️ На вебинаре разберем:
🔥Как устроен семантический слой в DataForge: реестры показателей и измерений и единая логика расчетов.
🔥Как платформа ускоряет формирование семантического слоя с помощью AI.
🔥Как AI-агент позволяет бизнес-пользователям получать аналитику в режиме реального времени (SQL, графики, дашборды).

DataForge – российская self-service-платформа, которая реализует полный цикл работы с корпоративной аналитикой: от написания бизнес-требований до автоматического построения витрин данных в DWH.

О платформе:
🔥Это новый класс платформ для управления данными на основе семантического слоя с AI-ready-интерфейсом
🔥Интегрируется с любыми аналитическими системами, в том числе BI
🔥Участник исследования Self-Service-круг Громова 2026

📢 Спикеры: основатель платформы, технический директор и владелец продукта DataForge.

На вебинаре вы узнаете, как оптимизировать работу с метаданными и получать аналитику в режиме реального времени с помощью AI.

➡️ Присоединяйтесь – участие бесплатное!

#integrationlayer #AIагенты #DataForge #DataForge_вебинар

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 Вебинар: «Семантический слой + AI-агенты: новый уровень работы с данными» – мы в эфире!

Прямо сейчас рассказываем на вебинаре про сквозное управление данными с помощью AI-агентов на платформе DataForge!

⚡️ Разбираем:
🔥Как устроен семантический слой в DataForge: реестры показателей и измерений и единая логика расчетов.
🔥Как платформа ускоряет формирование семантического слоя с помощью AI.
🔥Как AI-агент позволяет бизнес-пользователям получать аналитику в режиме реального времени (SQL, графики, дашборды).
➡️ Присоединяйтесь – участие бесплатное!

DataForge – российская self-service-платформа, которая реализует полный цикл работы с корпоративной аналитикой: от написания бизнес-требований до автоматического построения витрин данных в DWH.

О платформе:
🔥Это новый класс платформ для управления данными на основе семантического слоя с AI-ready-интерфейсом
🔥Интегрируется с любыми аналитическими системами, в том числе BI
🔥Участник исследования Self-Service-круг Громова 2026

#integrationlayer #AIагенты #DataForge #DataForge_вебинар

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

Уважаемые коллеги!

Мы благодарим вас за участие в вебинаре «Семантический слой + AI-агенты: новый уровень работы с данными», который состоялся 20 апреля.

⚡️Запись вебинара уже доступна на Rutube и YouTube.

Презентации экспертов доступны по ссылке: https://disk.yandex.ru/d/HhDcRpnWgqASnw

⬇️ Задать вопрос и оставить обратную связь о вебинаре можно в комментариях под этим постом.

🔥 Запросить демодоступ к платформе DataForge – на dataforg.ru

📢 Ниже мы опубликуем ответы на вопросы участников вебинара.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 DataForge: отвечаем на вопросы участников вебинара ⬇️

На вебинаре 20 апреля было много вопросов по функционалу и AI-возможностям платформы DataForge. Ниже – ответы на вопросы, которые эксперты не успели охватить в рамках прошедшего эфира (1️⃣ часть):

1. Уточните вашу ценовую и лицензионную политику?

В DataForge лицензии предоставляются по модели подписки, где цена рассчитывается исходя из числа пользователей и технических лимитов. Платформа предлагает гибкие тарифные планы для бизнеса любого уровня – от базового до корпоративного. Корпоративный тариф включает два уровня лицензий: Разработчик и Аналитик.

2. Семантический слой – это как дата-каталог в Data Governance?

Нет, это не просто дата-каталог. DataForge – это живой семантический слой, который:
🔥не только описывает данные (как каталог),
🔥но и формирует конечные представления (витрины, таблицы),
🔥позволяет создавать расчётные показатели,
🔥управляет логикой и распространяет изменения во все связанные витрины и BI.

3. Это замена дата-каталога, если его нет в компании?

Да, может выполнять роль дата-каталога на старте, но функционально DataForge – шире. Если дата-каталога нет, платформа через ИИ-агента может проанализировать существующее хранилище и заполнить семантический слой.

4. DataForge может обращаться в существующий дата-каталог?

Да, может. Интеграция с существующими дата-каталогами в ближайшее время будет доступна всем пользователям (находится в стадии тестирования).

5. DataForge может ли обращаться в Iceberg?

Да, работа с Iceberg возможна через LakeHouse. Прямая поддержка Iceberg в настоящее время находится в стадии разработки.

6. Как считается сайзинг для инфраструктуры on-prem, какую карту выбрать?

🔥Пример: используется RTX 3090 (24 ГБ) для локальной модели (Qwen).
🔥Квантованные LLM не рекомендуются.
🔥Есть рекомендации по настройке инференса.
🔥Сайзинг зависит от бюджета и нагрузки.
🔥Можно использовать облачных провайдеров (Яндекс AI Studio, Cloud .ru) или локальные серверы с GPU.
Обращайтесь – рассчитаем любой сайзинг!

7. Модели ИИ используются с внешних ресурсов или крутятся на внутренних серверах? Можно ли поставить их вместе с DataForge?

Да, предусмотрены различные варианты:
🔥в DataForge можно использовать как внешних провайдеров (OpenAI, DeepSeek и др.), так и подключать локальные модели.
🔥локальные LLM (например, Qwen) поддерживаются на внутренних GPU-серверах.

8. При создании РПИ анализирует ли AI-агент содержимое таблиц (профилирует ли данные)?

Да, профилирует. AI-агент анализирует структуру таблиц, названия полей, связи. Может выкачать ограниченное количество строк для проверки, но не полные терабайты.

9. Все данные выкачиваются для анализа или только часть? Что если десятки терабайт?

Только структура и небольшая выборка. Агент не выкачивает все данные. Он анализирует метаданные, названия полей, типы, связи. Для проверки может взять ограниченное число строк.

10. Что за движок под капотом, и как он работает?

🔥Используется мультиагентная система (несколько агентов в разной последовательности).
🔥Два основных источника: DataForge (семантический слой) и база данных.
🔥Генерация SQL – через LLM, но также планируется поддержка Python.
🔥Есть кэширование семантики и данных для ускорения follow-up вопросов.
Отвечаем в контексте конкретного ИИ-агента. В DataForge – другие движки и другие технологии.

Продолжение вопросов ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 DataForge: ответы на вопросы участников вебинара 2️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 20 апреля:

11. Есть ли возможность писать настройки для технического промпта?

По умолчанию – нет. Технический промпт не редактируется пользователем. Но если потребуется, команда DataForge может либо дописать нужное, либо сделать возможность редактирования.

12. Есть ли гарантия, что на один и тот же запрос агент будет выдавать одинаковый результат?

Нет, такой гарантии нет. LLM-агенты работают стохастически. Даже при температуре = 0 результат может быть немного разным, особенно в интерпретациях. Цифры же из SQL должны совпадать.

13. Можно ли изменять температуру?

Да, есть такая возможность в интерфейсе. На данный момент температура выставлена в 0 (минимум креативности).

14. SQL генерируется алгоритмически или LLM?

Генерируется LLM (в рамках подхода Text-to-SQL). В дальнейшем планируется также генерация Python-скриптов.

15. Можно ли анализировать ETL-процессы и строить визуальный pipeline?

Пока нет. ETL-процессы напрямую не анализируются. Но есть партнёрство с Loginom, и связка с их ETL-решением прорабатывается.

16. Как описывается реестр метрик? По метаданным таблиц или парсится ETL?

По метаданным таблиц и структуре хранилища. Агент анализирует таблицы, поля, связи и автоматически формирует показатели, измерения, факты и справочники.

17. Какой размер хранилища данных использован в примере?

Тестовая база данных содержит порядка 6 миллионов строк.

18. Есть ли риск, что агент «придумает» описание хранилища?

Риск не нулевой, но снижен за счёт:
🔥температура = 0,
🔥агент работает на основе реальной структуры БД,
🔥результат проверяется аналитиками перед использованием.

19. Как объём данных влияет на скорость обработки?

При автоматическом создании описаний хранилища объём данных влияет слабо, так как агент не выкачивает все данные, но скорость зависит от сложности схемы БД, количества таблиц и связей. А при автоматическом построении отчётов влияние объёма данных зависит от сложности генерируемых для этих отчётов выборок данных.

20. Если формулы на уровне BI, как система их понимает/ загружает?

Формулы описываются в семантическом слое DataForge (РПИ – реестр показателей и измерений). BI-системы не разбирают формулы самостоятельно – они подключаются к готовым витринам или используют API DataForge.

Продолжение вопросов ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

🔥 DataForge: ответы на вопросы участников вебинара 3️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 20 апреля:

21. Все вычисления выполняются на стороне СУБД? Нагрузка ложится на неё?

Да, SQL-запросы выполняются в СУБД. Нагрузка ложится на базу данных. Агент только генерирует запрос и интерпретирует результат.

22. В рамках чата история сообщений передаётся?

Контекст текущего диалога сохраняется.

23. Интеграция с dbt, DBeaver, Jupyter, Dagster?

Прямая интеграция не требуется, так продукт сам исполняет SQL-скрипты. Но при необходимости можно вручную копировать генерируемые SQL-скрипты во внешние инструменты.

24. Как бы вы подошли к задаче анализа видео (например трендов Instagram) с помощью LLM?

Это задача находится за рамками текущей функциональности продукта.

25. Вы пробовали разделить агента: дорогая модель для генерации SQL, простая – для интерпретации данных?

Теоретически такая схема возможна, но на данный момент не используется.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

⬆️ В ожидании записи свежего вебинара предлагаем пересмотреть премьерный вебинар по DataForge: «Как навести порядок в показателях, витринах, бизнес-логике и BI-отчётах» – особенно актуально для тех, кто не был.

⚡️На первом вебинаре мы разобрали:
🔥Какие задачи решает DataForge, и как он ускоряет работу любых подключенных систем.
🔥Структуру продукта: его место в архитектуре DWH и ключевые компоненты.
🔥Как устроен семантический слой: РПИ и единая логика расчётов.
🔥Как работает автоматическая генерация SQL и публикация витрин в БД.
🔥Как DataForge обеспечивает согласованность метрик и прозрачность данных в любых BI-инструментах.
🔥Как платформа автоматически транслирует изменения семантического слоя во все связанные системы.

📌 Запись доступна на Rutube и YouTube.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

Release Date: 7 мая 2026

⚡️ DataForge: относительные показатели в транспонированных витринах – предрасчет без потери точности

Аналитики, знакомая дилемма?
🟣 С одной стороны – хочется выгрузить в витрину готовые показатели (рентабельность, конверсию, долю). Чтобы BI просто показывал цифры, не пересчитывая сложную логику. Быстро, удобно.
🟣 С другой стороны – классическая витрина с предрасчитанными относительными показателями ломает агрегацию. Усреднили рентабельность по месяцам – получили неверный результат за квартал.
Замкнутый круг: либо тянуть логику в BI, либо предрасчитывать, но терять корректность.

Что сделали в DataForge?
Для транспонированных витрин система автоматически добавляет три служебных поля:
1️⃣ Числитель.
2️⃣ Знаменатель.
3️⃣ Флаг простого показателя.

Пример с рентабельностью за квартал:
⛔️ Классический BI усреднит: (1.20 + 1.30 + 1.25) / 3 = 1.25
✔️ Правильно: сумма числителей / сумма знаменателей = 1.2375
Ошибка может достигать десятков процентов.

И главное – это единый подход работает для ЛЮБЫХ показателей:
🟣 Для относительных (рентабельность, конверсия) – формула корректно агрегирует через числитель и знаменатель.
🟣 Для простых / аддитивных (выручка, сумма) – та же формула автоматически дает правильную сумму благодаря флагу простого показателя.

Одна универсальная формула (пример для Power BI):

text
DIVIDE(
SUM([Значение числителя]),
SUM([Значение знаменателя]) + MAX([Простой показатель]),
0
)

🟣Для относительных: деление сумм с реальными значениями знаменателей.
🟣Для простых: сумма значений числителей, так как сумма знаменателей всегда 1.

📌 Главный итог:
Аналитику больше не нужно думать, какой тип показателя перед ним. Не нужно писать разные формулы. Не нужно выбирать между удобством предрасчета и точностью агрегации.

Одна формула – любые показатели на любых срезах и периодах.

➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataArchitecture #транспонированныевитрины #DataForge

🔥 Запись вебинара: «Семантический слой + AI-агенты: новый уровень работы с данными»

Для тех, кто пропустил, на недавнем вебинаре мы рассказали про сквозное управление данными с помощью AI-агентов на платформе DataForge – приятного просмотра!

⚡️ Что успели разобрать:
🔥Как устроен семантический слой в Data Forge: реестры показателей и измерений и единая логика расчетов.
🔥Как платформа ускоряет формирование семантического слоя с помощью AI.
🔥Как AI-агент позволяет бизнес-пользователям получать аналитику в режиме реального времени (SQL, графики, дашборды).

DataForge – российская self-service-платформа, которая реализует полный цикл работы с корпоративной аналитикой: от написания бизнес-требований до автоматического построения витрин данных в DWH.

О платформе:
🔥Это новый класс платформ для управления данными на основе семантического слоя с AI-ready-интерфейсом
🔥Интегрируется с любыми аналитическими системами, в том числе BI
🔥Участник исследования Self-Service-круг Громова 2026

📌 А также ответили на вопросы участников здесь:
Часть 1
Часть 2
Часть 3
Ответить на свежие – готовы под постом ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#integrationlayer #AIагенты #DataForge #DataForge_вебинар

📌 Как собрать аналитическую витрину данных и выгрузить её в Excel или БД

В этом видео мы показываем, как в DataForge создавать витрины данных на основе уже описанных показателей и измерений, а затем выгружать полученный результат в различные форматы.

В видео-инструкции вы узнаете:
🟣 как создать новую витрину данных,
🟣как добавить необходимые показатели и измерения,
🟣каким образом проверить корректность полученной структуры,
🟣как выгрузить витрину обратно в базу данных,
🟣как экспортировать результат в Excel для дальнейшей работы пользователей.

📌 Такой подход позволяет стандартизировать подготовку данных, ускорить разработку BI-решений и обеспечить единое понимание того, какие данные используются в отчётах и аналитических системах.

➡️ Запросить демодоступ и протестировать DataForge

➡️ Аналитическая витрина — это тот слой данных, с которым чаще всего работают BI-системы, отчёты и конечные пользователи.

Именно от качества витрин зависит скорость разработки дашбордов, производительность аналитики и удобство использования данных бизнесом.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #витринаданных #полезноевидео_DataForge

⚡️ Снова #вебинар
Когда: 1 июля в 9:00 (Мск)

Тема: DataForge: наводим порядок в данных с единым семантическим слоем – для пользователей и ИИ-агентов

📌 На вебинаре коллеги представят DataForge – self-service-платформу полного цикла: от бизнес-требований через реестр показателей до генерации DDL и автоматического построения витрин в DWH. Покажут, как в платформе устроен семантический слой – единая точка истины для всех подключенных систем и ИИ-агентов, которая снимает рутину и исключает разночтения на всех этапах.

Встречаемся в Zoom! ➡️ Регистрация по ссылке

Спикеры: технический директор и владелец продукта. В числе приглашенных экспертов – Сергей Громов, CEO BI Consult.

#Вебинар #datalearn

Уважаемые коллеги!

Мы благодарим всех, кто принял участие в вебинаре «DataForge: наводим порядок в данных с семантическим слоем — для пользователей и ИИ-агентов», который состоялся 1 июля.

⚡️Запись скоро появится на видео площадках.

📌Презентация экспертов доступна по ссылке: https://disk.yandex.ru/i/4URDVweRhU_D9A

⬇️ Задать вопрос и оставить обратную связь о вебинаре можно в комментариях под этим постом.

Запросить демодоступ к платформе DataForge – можно на сайте dataforg.ru

Ниже мы опубликуем ответы на вопросы участников вебинара.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗