⚡️ Запись вебинара: «DataForge: наводим порядок в данных с семантическим слоем — для пользователей и ИИ-агентов»

Для тех, кто пропустил, 1 июля на вебинаре мы снова показали self-service-платформу полного цикла: от бизнес-требований через реестр показателей до генерации DDL и автоматического построения витрин в DWH – приятного просмотра!

Единый семантический слой в DataForge – единая точка истины для всех подключенных систем и ИИ‑агентов, которая снимает рутину и исключает разночтения на всех этапах.

⚡️Участники вебинара увидели:
— как создать витрину данных из показателей и измерений без ручного написания SQL,
— как DataForge генерирует SQL-код, таблицы, views и materialized views в хранилище,
— как централизованно изменить формулу показателя сразу для нескольких дашбордов и BI-систем,
— как добавить новую метрику в аналитическую модель без переработки дашборда,
— как устроены реестр показателей, дерево зависимостей и анализ происхождения данных,
— как сравнивать версии модели и переносить изменения между средами,
— чем DataForge отличается от dbt, Data Catalog, ETL-платформ и семантических моделей внутри отдельных BI-систем,
— как подключить семантический слой к ИИ-агентам через API и MCP,
— почему бизнес-определения, формулы и корректные JOIN-пути критически важны для Text-to-SQL и корпоративных AI-ассистентов,
— как развернуть DataForge в собственном контуре или облачной инфраструктуре.

📌Презентация экспертов доступна по ссылке: https://disk.yandex.ru/i/4URDVweRhU_D9A

⬇️ Задать вопрос и оставить обратную связь о вебинаре можно в комментариях под этим постом.

Запросить демодоступ к платформе DataForge – можно на сайте dataforg.ru

Ниже публикуем ответы на вопросы участников вебинара.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 DataForge: отвечаем на вопросы участников вебинара ⬇️

На вебинаре 1 июля было много вопросов по функционалу и ИИ-возможностям платформы DataForge. Ниже – ответы на вопросы, которые эксперты не успели охватить в рамках прошедшего эфира (1️⃣ часть):

1. Продукт управляется как SaaS или поставляется на on-premise?

DataForge поставляется в виде Docker-контейнеров и может быть развернут локально (on-premise) на серверах внутри защищенного периметра компании. Продукт полностью функционирует без обязательного подключения к интернету.

2. Чем продукт глобально отличается от dbt?

Глобальное отличие в позиционировании: dbt — это инструмент для трансформации данных (ELT, подготовка данных на уровне модели), а DataForge — это инструмент для создания и управления конечными представлениями (витринами, датасетами), с которыми непосредственно работают пользователи и BI-системы. DataForge замыкает на себе слой семантики и бизнес-логики, предоставляя готовые к потреблению данные.

3. Что именно DataForge генерирует на выходе: SQL-код, физические таблицы, views, materialized views, semantic model, dataset для BI?

На выходе DataForge генерирует SQL-код, который создает в хранилище данных (СУБД) представления (views) или материализованные представления (materialized views), а также может создавать физические таблицы. Этот код может быть выполнен автоматически из интерфейса или скопирован для ручного использования. BI-системы подключаются именно к этим созданным объектам в базе данных.

4. Эти дашборды смотрят просто на одну витрину?

Да, в большинстве демонстрационных примеров дашборды подключаются к одной конкретной витрине, созданной в DataForge. Это обеспечивает единый источник данных для дашборда. Однако витрины могут быть разными (плоские или "свернутые" с метриками в строках), и одни и те же показатели могут использоваться в нескольких витринах.

5. В каких сценариях ваше решение применимо? Если у меня уже настроены все ETL, настроены data marts и есть data catalog.

Если ETL, Data Marts и Data Catalog уже есть, DataForge приносит ценность за счет централизации и управления бизнес-логикой на финальном этапе:
🟣Унификация показателей: Перенесите логику расчета показателей, которая сейчас "зашита" в разных BI-инструментах и Excel, в DataForge.
🟣Единое управление изменениями: Изменение формулы одного показателя в DataForge автоматически обновит все витрины и отчеты, подключенные к ним, без необходимости править каждый дашборд вручную.
🟣Самообслуживание пользователей: Бизнес-пользователи смогут собирать под себя новые витрины с нужными разрезами и показателями без помощи разработчиков, переключая BI-системы на созданные в DataForge представления.

6. Есть ли общий линейдж, показывающий, в каком дашборде какие метрики используются и из каких источников они считаются?

DataForge строит линейдж (происхождение данных) автоматически на уровне расчетов показателей: как показатель зависит от других показателей, измерений и полей в таблицах. Можно увидеть, в какие витрины попадает показатель. Однако до конкретных дашбордов линейдж не доходит, так как BI-системы подключаются к витринам напрямую, минуя DataForge. Также в недавно появилась функциональность Impact Analysis для просмотра влияния изменений на все элементы проекта, включая витрины.

7. Покажите витрину, которая используется для этого дашборда. Какие метрики считаются на стороне BI, а какие на стороне БД?

В демонстрации на вебинаре использовались две концепции витрин:
🟣Плоская витрина: Каждый показатель в отдельной колонке, расчет агрегированных значений происходит на стороне СУБД.
🟣"Свернутая" витрина: Показатели выводятся в строках, что позволяет добавлять новые метрики в дашборд без его изменения.

Ключевая идея DataForge — вынести максимум логики (95% показателей) на уровень витрин в СУБД, оставив в BI-инструментах минимум (например, простые фильтры или специфические неаддитивные расчеты). DataForge выступает эталоном для тех формул, которые все же остаются в BI.

Продолжение вопросов ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#DataForge #DataForge_вебинар

🔥 DataForge: ответы на вопросы участников вебинара 2️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 1 июля:

8. Зачем понадобилось придумывать свой язык для расчетов? Нельзя ли было остаться на SQL?

Свой язык для формул (схожий с Excel) был создан для доступности бизнес-пользователям, которые не являются SQL-разработчиками. Идея в том, чтобы пользователи могли описывать логику расчетов понятным способом, а система автоматически транслировала эти формулы в SQL-код для разных СУБД. Это делает инструмент управляемым не только инженерами, но и аналитиками.

9. Я верно понимаю, что решение может автоматически строить ODS и подключаться к любым источникам? Если да, то на какой механике?

Нет, это неверно. DataForge не строит ODS и не подключается к сырым источникам данных. Он подключается к уже существующему и подготовленному слою данных (Gold-слой DWH — таблицы фактов и измерений). Его задача — работать поверх этого слоя, описывая бизнес-смысл данных и создавая витрины для аналитики.

10. Чем строится абстрактно семантическое дерево?

Семантическое дерево (линейдж происхождения) в DataForge строится автоматически на основе связей, заведенных пользователем в Реестре Показателей и Измерений (РПИ). При создании показателя указываются его формула и зависимости от других показателей, измерений или полей в таблицах. Система анализирует эти связи и визуализирует их в виде дерева.

11. Можете рассказать реальные или типовые кейсы, где ИИ-агенты работают не напрямую с сырыми таблицами, а с данными и витринами, подготовленными через DataForge? Интересно понять, помогает ли DataForge сделать ответы ИИ-агентов более стабильными, управляемыми и бизнесово корректными?

Да, это прямой сценарий. DataForge предоставляет ИИ-агентам (через API или MCP-сервер) структурированное описание семантического слоя в JSON. Вместо того чтобы гадать по сырым таблицам, агент получает полный контекст: бизнес-смысл сущностей, эталонную логику расчетов и ссылки на конкретные поля. Это позволяет ИИ генерировать корректные SQL-запросы, основанные на единой и проверенной логике, что предотвращает "галлюцинации" и делает ответы более стабильными и бизнесово-верными.

12. Можно ли не «волшебникам» давать возможность править формулы и логику? Реализована ли возможность апрувить изменения инженеру после вмешательства в формулы не «волшебников»?

Да, такая возможность предусмотрена ролевой моделью:
🟣Аналитики и бизнес-пользователи (не "волшебники") могут работать с существующими сущностями, создавать новые показатели из них и корректировать формулы, так как модель уже настроена инженером
🟣Дата-инженеры подключают новые датасеты и выполняют маппинг (привязку бизнес-сущностей к физическим полям)
🟣В разработке находится функционал, где любое изменение от не-волшебников потребует верификации (апрува) от ответственного пользователя (владельца показателя или инженера) перед тем, как изменения будут транслироваться в продуктивные витрины.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#DataForge #DataForge_вебинар

🔥 DataForge: ответы на вопросы участников вебинара 3️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 1 июля:

13. Инструмент полезный. Есть опасения не попасть на костыли или ограничения на какой-либо стадии жизни продукта. Какие есть риски использования инструмента?

Особенности реализуемой продуктом функциональности и текущее состояние продукта требуют учитывать следующие моменты:
🟣Ограничения логики: Не вся логика (например, сложные неаддитивные расчеты) может быть реализована на уровне хранилища данных (хоть через DataForge, хоть через любую другую систему), и часть может остаться на уровне BI
🟣Зависимость от DWH: Продукт требует наличия качественного Gold-слоя, он не решает проблемы «грязных» или неструктурированных данных на нижних уровнях
🟣Отсутствие статистического анализа: DataForge не предназначен для статистического моделирования (A/B-тесты, проверка распределений и т.д.) и для обеспечения качественного наполнения создаваемых витрин требует реализации подобных проверок на других уровнях
🟣Ограничения управления представлениями витрин: DataForge не является инструментом для оркестрации баз данных и поэтому требует наличия отдельных механизмов, которые будут обеспечивать актуальность данных в представлениях, созданных на основе сгенерированных в продукте SQL-скриптов

14. Кто ответственный тогда будет за данные? Если дата-инженер настроил пайплайн, бизнес-пользователи поправили формулы, и в итоге получили ошибки в дашборде. Как тут выстроить процесс? Есть ли ролевая модель?

Да, существует многоуровневая ролевая модель, которая разграничивает ответственность:
🟣Глобальные роли: Наблюдатель, Аналитик, Разработчик, Проджект-менеджер, Администратор
🟣Проектный уровень доступа: Права на конкретный проект могут настраиваться индивидуально (Наблюдатель, Аналитик, Разработчик, Владелец). Уровень доступа не может превышать глобальную роль

Ответственность выстраивается так:
1. Дата-инженер/Разработчик подключает источники (Gold-слой) и настраивает маппинг
2. Бизнес-пользователи/Аналитики (с правами не выше Аналитика или Разработчика) могут создавать и изменять формулы на основе существующих сущностей
3. Процесс изменений контролируется через роли и будущую функцию верификации, где изменения требуют апрува перед применением

15. Непонятно про тесты. Как обеспечить качество данных? Что делать, если данные кривые или пустые - алерты.

В DataForge есть функционал для валидации результатов. Пользователи могут создавать сценарии проверок (бизнес-проверки), где задают эталонные значения для показателей при определенных условиях. Система вычисляет показатели по фактическим данным и сравнивает с эталоном. Это позволяет на уровне бизнес-данных (выручка, возвраты) убедиться в корректности расчетов и выявить проблемы с данными на финальной стадии.

16. Кто ключевой клиент: инженеры или бизнес? Инженерам нужен code, бизнес-пользователям – нет.

Ключевые клиенты — и инженеры, и бизнес-пользователи, но на разных этапах:
🟣Дата-инженеры и архитекторы на этапе внедрения: подключают хранилище, настраивают модели, выполняют маппинг
🟣Бизнес-пользователи и аналитики на этапе эксплуатации: используют уже настроенный семантический слой для создания и поддержки отчетов, корректировки формул и управления логикой без написания SQL-кода

17. Не хватает подхода «аналитика как код». Хочется уже сразу разговаривать с AI-агентом, чтобы он там все строил и кверил. Руками уже лениво работать и кликать)

DataForge уже движется в этом направлении:
🟣Есть работающий MCP-сервер и ИИ-ассистент, которые могут генерировать корректные SQL-запросы и строить отчеты по текстовым запросам, используя семантический слой в качестве контекста
🟣Разрабатывается механизм для автоматического заполнения РПИ через ИИ-агента, который анализирует структуру существующего хранилища

18. Было бы здорово все это дело положить в гит репо и уже там с помощью YAML или SQL описывать трансформации.

Сейчас в DataForge есть внутреннее версионирование проектов (создание версий, сравнение). Интеграция с Git (возможность полной выгрузки проекта в Git) находится в планах разработки. Текущий подход — управление через веб-интерфейс, а не через код в репозитории, хотя API для программного доступа к метаданным уже есть.

19. Было еще хорошо показать демо, как вот прям с 0 построить что-то. Допустим открыли новый проект и там просто и показать шаги и рассказать.

Стандартная последовательность действий при начале работы с продуктом описана в документации продукта и включает шаги:
1. Создать новый проект
2. Описать показатели, измерения и факты в РПИ
3. Объединить их в таблицы фактов и справочники
4. Настроить подключение к хранилищу данных
5. Выполнить маппинг логической модели на физическую
6. Настроить витрины с необходимыми показателями и измерениями
7. Создать представления для витрин в хранилище (автогенерация SQL)
8. Подключиться в BI-системе к созданным представлениям и строить отчеты

Эти шаги и были в целом продемонстрированы на вебинаре через интерфейс. Дополнительно можно посмотреть следующие короткие видеоинструкции по работе с продуктом:
🟣Как в DataForge создать семантический слой для BI и AI: показатели, измерения и происхождение данных - https://rutube.ru/video/private/434df249e05dc979e833b18dde33e2ab/
🟣Модель данных без хаоса: факты, PK/FK и проверка показателей в DataForge - https://rutube.ru/video/private/d445b512f715ff2f8a861fc0a6bf4a62/
🟣Как в DataForge собрать аналитическую витрину данных и выгрузить её в Excel или БД - https://rutube.ru/video/private/025c95fdbd86e321dadd0496b3b4709e/
Также есть возможность запросить персональное демо продукта, чтобы уточнить все детали реализации проекта “с нуля” на нём.

 ➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#DataForge #DataForge_вебинар

Release Date: 5 сентября 2026

⚡️ DataForge позволяет управлять доступами к проектам

➡️ Каждый проект можно открыть конкретным пользователям и назначить им нужный уровень доступа. Разделяйте проекты между командами, контролируйте права пользователей и безопасно организуйте совместную работу в DataForge.

Как это работает?
1️⃣ Настройте доступ к проекту
Назначьте пользователям роли «Разработчик», «Аналитик» или «Наблюдатель» и предоставьте доступ только к нужным проектам.
2️⃣ Используйте роль «Менеджер проекта»
Менеджер проекта может создавать проекты и полностью управлять теми, которыми владеет.
3️⃣ Контролируйте владельцев и роли
У каждого проекта есть владелец, а в списке проектов отображаются владелец и ваша роль.
4️⃣ Учитывайте ограничения прав
Роль в проекте не может быть выше глобальной роли пользователя.
5️⃣ Передавайте владение проектом
Проект можно передать менеджеру проекта, администратору компании или суперадминистратору.
6️⃣ Клонируйте проекты вместе с правами
Настройки доступа автоматически копируются вместе с проектом.
7️⃣ Отслеживайте изменения
Все изменения прав и передача владения фиксируются в системном журнале.
8️⃣ Управляйте доступом через API
API учитывает проектные права и позволяет просматривать и изменять доступ, а также передавать владение.

📌 Такой механизм помогает разделять проекты между командами, ограничивать доступ к чувствительным данным и сохранять прозрачность управления правами внутри компании.

 ➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #DataForge_updates

⚡️ DataForge включен в Единый реестр российского ПО

Платформа DataForge официально зарегистрирована в Едином реестре российских программ для ЭВМ и баз данных Минцифры России.

DataForge – российская self-service-платформа, которая реализует полный цикл работы с корпоративной аналитикой: от написания бизнес-требований до автоматического построения витрин данных в корпоративных хранилищах данных.

❗️ Реестровая запись №35075 от 07.09.2026
➡️ Класс ПО: «Средства управления базами данных».

Включение в реестр подтверждает российское происхождение программного обеспечения и позволяет использовать DataForge в проектах, где наличие продукта в реестре российского ПО является одним из требований.

Принимаем поздравления! 🔥🏆

 ➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #РоссийскоеПО #РеестрПО #Минцифры

❗️Как создать семантический слой для BI и AI: показатели, измерения и происхождение данных

В этом видео мы шаг за шагом показываем, как в DataForge формируется РПИ (реестр показателей и измерений) – один из ключевых элементов современной архитектуры данных.

В инструкции вы увидите полный цикл работы:
🟣создание проекта и подключение базы данных,
🟣создание фактов и настройка показателей,
🟣анализ происхождения данных (data lineage),
🟣создание измерений,
🟣формирование справочников,
🟣обзор готового РПИ и принципов его использования.

📌 DataForge помогает превратить разрозненные определения и Excel-файлы в единый управляемый слой знаний о данных компании.

Если в компании несколько BI-систем и десятки отчётов, семантический слой помогает устранить разночтения в расчёте показателей. Так все участники – от аналитиков и разработчиков до бизнес-пользователей и AI-агентов – работают с единым пониманием метрик.

➡️ Запросить демодоступ и протестировать DataForge

➡️ Это актуально для компаний, которые внедряют BI-системы, строят корпоративные хранилища данных, внедряют Data Governance или начинают использовать AI-ассистентов для работы с корпоративными данными.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #модельданных #полезноевидео_DataForge

🤖 DataForge AI Assistant: от вопросов к данным – к полноценному цифровому аналитику

➡️ Если раньше AI-агент в DataForge в первую очередь отвечал на вопросы бизнеса, используя семантический слой и корпоративную модель данных, то теперь его возможности существенно расширились.

В этом видео вы узнаете:
🟣 как AI Assistant использует семантический слой DataForge и понимает бизнес-термины, показатели и связи между данными,
🟣 как задавать вопросы на естественном языке и получать ответы без написания SQL,
🟣 как подключать аналитические навыки на Python для факторного анализа, прогнозирования, поиска аномалий и статистических расчётов,
🟣 как создавать собственные навыки и расширять возможности агента без изменения ядра DataForge,
🟣 как формировать корпоративную базу знаний для повышения качества ответов,
🟣 как автоматически создавать презентации по итогам диалога и аналитического исследования,
🟣 как администрировать каталог аналитических навыков и подключать новые инструменты.

📌 DataForge AI Assistant – это уже не просто чат с данными, а цифровой аналитик, который понимает корпоративные метрики, работает с семантическим слоем, выполняет расчёты и помогает готовить управленческие решения.

➡️ Запросить демодоступ и протестировать DataForge

➡️ DataForge – российская платформа для построения семантического слоя, управления требованиями к данным, проектирования DWH и создания AI-агентов для корпоративной аналитики.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #ИИагенты #AgenticAI #полезноевидео_DataForge

⚡️ Заполняйте РПИ в DataForge через API – без ручного ввода

➡️ В DataForge работа начинается с РПИ – единого каталога определений показателей, формул расчёта и таблиц-источников. На его основе строятся модель данных и витрины, а SQL-запросы генерируется автоматически.

DataForge автоматически заполняет РПИ – через API:

🟣Загружайте готовые описания
Переносите показатели из каталогов метрик, Excel и вики пакетами, а не по одному.
🟣Синхронизируйте изменения
Настройте обновление РПИ при изменении корпоративной документации.
🟣Встраивайте в ETL-процессы
Автоматически создавайте показатели и измерения при появлении новых таблиц в хранилище.
🟣Выгружайте реестр
Получайте данные в JSON или Excel для согласований, отчётности и других систем.
🟣Собирайте модель целиком
Управляйте показателями, справочниками, таблицами фактов и связями между ними.
🟣Настраивайте права доступа
Каждый API-ключ работает с правами конкретного пользователя. Скрипты не могут читать или изменять данные сверх предоставленных полномочий, а все обращения фиксируются в журнале аудита.

📌 API избавляет от ручного переноса и обновления показателей. Вместо разрозненных файлов и описаний команда получает единый, актуальный реестр показателей, который можно автоматически синхронизировать с корпоративными системами и встроить в существующие процессы работы с данными.

➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #DataForge_updates