📆 Вебинар: «Семантический слой + AI-агенты: новый уровень работы с данными» – 20 апреля, 12:00

Ждем вас на вебинаре по сквозному управлению данными с помощью AI-агентов на платформе DataForge!

⚡️ На вебинаре разберем:
🔥Как устроен семантический слой в DataForge: реестры показателей и измерений и единая логика расчетов.
🔥Как платформа ускоряет формирование семантического слоя с помощью AI.
🔥Как AI-агент позволяет бизнес-пользователям получать аналитику в режиме реального времени (SQL, графики, дашборды).

DataForge – российская self-service-платформа, которая реализует полный цикл работы с корпоративной аналитикой: от написания бизнес-требований до автоматического построения витрин данных в DWH.

О платформе:
🔥Это новый класс платформ для управления данными на основе семантического слоя с AI-ready-интерфейсом
🔥Интегрируется с любыми аналитическими системами, в том числе BI
🔥Участник исследования Self-Service-круг Громова 2026

📢 Спикеры: основатель платформы, технический директор и владелец продукта DataForge.

На вебинаре вы узнаете, как оптимизировать работу с метаданными и получать аналитику в режиме реального времени с помощью AI.

➡️ Присоединяйтесь – участие бесплатное!

#integrationlayer #AIагенты #DataForge #DataForge_вебинар

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 Вебинар: «Семантический слой + AI-агенты: новый уровень работы с данными» – мы в эфире!

Прямо сейчас рассказываем на вебинаре про сквозное управление данными с помощью AI-агентов на платформе DataForge!

⚡️ Разбираем:
🔥Как устроен семантический слой в DataForge: реестры показателей и измерений и единая логика расчетов.
🔥Как платформа ускоряет формирование семантического слоя с помощью AI.
🔥Как AI-агент позволяет бизнес-пользователям получать аналитику в режиме реального времени (SQL, графики, дашборды).
➡️ Присоединяйтесь – участие бесплатное!

DataForge – российская self-service-платформа, которая реализует полный цикл работы с корпоративной аналитикой: от написания бизнес-требований до автоматического построения витрин данных в DWH.

О платформе:
🔥Это новый класс платформ для управления данными на основе семантического слоя с AI-ready-интерфейсом
🔥Интегрируется с любыми аналитическими системами, в том числе BI
🔥Участник исследования Self-Service-круг Громова 2026

#integrationlayer #AIагенты #DataForge #DataForge_вебинар

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

Уважаемые коллеги!

Мы благодарим вас за участие в вебинаре «Семантический слой + AI-агенты: новый уровень работы с данными», который состоялся 20 апреля.

⚡️Запись вебинара уже доступна на Rutube и YouTube.

Презентации экспертов доступны по ссылке: https://disk.yandex.ru/d/HhDcRpnWgqASnw

⬇️ Задать вопрос и оставить обратную связь о вебинаре можно в комментариях под этим постом.

🔥 Запросить демодоступ к платформе DataForge – на dataforg.ru

📢 Ниже мы опубликуем ответы на вопросы участников вебинара.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 DataForge: отвечаем на вопросы участников вебинара ⬇️

На вебинаре 20 апреля было много вопросов по функционалу и AI-возможностям платформы DataForge. Ниже – ответы на вопросы, которые эксперты не успели охватить в рамках прошедшего эфира (1️⃣ часть):

1. Уточните вашу ценовую и лицензионную политику?

В DataForge лицензии предоставляются по модели подписки, где цена рассчитывается исходя из числа пользователей и технических лимитов. Платформа предлагает гибкие тарифные планы для бизнеса любого уровня – от базового до корпоративного. Корпоративный тариф включает два уровня лицензий: Разработчик и Аналитик.

2. Семантический слой – это как дата-каталог в Data Governance?

Нет, это не просто дата-каталог. DataForge – это живой семантический слой, который:
🔥не только описывает данные (как каталог),
🔥но и формирует конечные представления (витрины, таблицы),
🔥позволяет создавать расчётные показатели,
🔥управляет логикой и распространяет изменения во все связанные витрины и BI.

3. Это замена дата-каталога, если его нет в компании?

Да, может выполнять роль дата-каталога на старте, но функционально DataForge – шире. Если дата-каталога нет, платформа через ИИ-агента может проанализировать существующее хранилище и заполнить семантический слой.

4. DataForge может обращаться в существующий дата-каталог?

Да, может. Интеграция с существующими дата-каталогами в ближайшее время будет доступна всем пользователям (находится в стадии тестирования).

5. DataForge может ли обращаться в Iceberg?

Да, работа с Iceberg возможна через LakeHouse. Прямая поддержка Iceberg в настоящее время находится в стадии разработки.

6. Как считается сайзинг для инфраструктуры on-prem, какую карту выбрать?

🔥Пример: используется RTX 3090 (24 ГБ) для локальной модели (Qwen).
🔥Квантованные LLM не рекомендуются.
🔥Есть рекомендации по настройке инференса.
🔥Сайзинг зависит от бюджета и нагрузки.
🔥Можно использовать облачных провайдеров (Яндекс AI Studio, Cloud .ru) или локальные серверы с GPU.
Обращайтесь – рассчитаем любой сайзинг!

7. Модели ИИ используются с внешних ресурсов или крутятся на внутренних серверах? Можно ли поставить их вместе с DataForge?

Да, предусмотрены различные варианты:
🔥в DataForge можно использовать как внешних провайдеров (OpenAI, DeepSeek и др.), так и подключать локальные модели.
🔥локальные LLM (например, Qwen) поддерживаются на внутренних GPU-серверах.

8. При создании РПИ анализирует ли AI-агент содержимое таблиц (профилирует ли данные)?

Да, профилирует. AI-агент анализирует структуру таблиц, названия полей, связи. Может выкачать ограниченное количество строк для проверки, но не полные терабайты.

9. Все данные выкачиваются для анализа или только часть? Что если десятки терабайт?

Только структура и небольшая выборка. Агент не выкачивает все данные. Он анализирует метаданные, названия полей, типы, связи. Для проверки может взять ограниченное число строк.

10. Что за движок под капотом, и как он работает?

🔥Используется мультиагентная система (несколько агентов в разной последовательности).
🔥Два основных источника: DataForge (семантический слой) и база данных.
🔥Генерация SQL – через LLM, но также планируется поддержка Python.
🔥Есть кэширование семантики и данных для ускорения follow-up вопросов.
Отвечаем в контексте конкретного ИИ-агента. В DataForge – другие движки и другие технологии.

Продолжение вопросов ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 DataForge: ответы на вопросы участников вебинара 2️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 20 апреля:

11. Есть ли возможность писать настройки для технического промпта?

По умолчанию – нет. Технический промпт не редактируется пользователем. Но если потребуется, команда DataForge может либо дописать нужное, либо сделать возможность редактирования.

12. Есть ли гарантия, что на один и тот же запрос агент будет выдавать одинаковый результат?

Нет, такой гарантии нет. LLM-агенты работают стохастически. Даже при температуре = 0 результат может быть немного разным, особенно в интерпретациях. Цифры же из SQL должны совпадать.

13. Можно ли изменять температуру?

Да, есть такая возможность в интерфейсе. На данный момент температура выставлена в 0 (минимум креативности).

14. SQL генерируется алгоритмически или LLM?

Генерируется LLM (в рамках подхода Text-to-SQL). В дальнейшем планируется также генерация Python-скриптов.

15. Можно ли анализировать ETL-процессы и строить визуальный pipeline?

Пока нет. ETL-процессы напрямую не анализируются. Но есть партнёрство с Loginom, и связка с их ETL-решением прорабатывается.

16. Как описывается реестр метрик? По метаданным таблиц или парсится ETL?

По метаданным таблиц и структуре хранилища. Агент анализирует таблицы, поля, связи и автоматически формирует показатели, измерения, факты и справочники.

17. Какой размер хранилища данных использован в примере?

Тестовая база данных содержит порядка 6 миллионов строк.

18. Есть ли риск, что агент «придумает» описание хранилища?

Риск не нулевой, но снижен за счёт:
🔥температура = 0,
🔥агент работает на основе реальной структуры БД,
🔥результат проверяется аналитиками перед использованием.

19. Как объём данных влияет на скорость обработки?

При автоматическом создании описаний хранилища объём данных влияет слабо, так как агент не выкачивает все данные, но скорость зависит от сложности схемы БД, количества таблиц и связей. А при автоматическом построении отчётов влияние объёма данных зависит от сложности генерируемых для этих отчётов выборок данных.

20. Если формулы на уровне BI, как система их понимает/ загружает?

Формулы описываются в семантическом слое DataForge (РПИ – реестр показателей и измерений). BI-системы не разбирают формулы самостоятельно – они подключаются к готовым витринам или используют API DataForge.

Продолжение вопросов ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

🔥 DataForge: ответы на вопросы участников вебинара 3️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 20 апреля:

21. Все вычисления выполняются на стороне СУБД? Нагрузка ложится на неё?

Да, SQL-запросы выполняются в СУБД. Нагрузка ложится на базу данных. Агент только генерирует запрос и интерпретирует результат.

22. В рамках чата история сообщений передаётся?

Контекст текущего диалога сохраняется.

23. Интеграция с dbt, DBeaver, Jupyter, Dagster?

Прямая интеграция не требуется, так продукт сам исполняет SQL-скрипты. Но при необходимости можно вручную копировать генерируемые SQL-скрипты во внешние инструменты.

24. Как бы вы подошли к задаче анализа видео (например трендов Instagram) с помощью LLM?

Это задача находится за рамками текущей функциональности продукта.

25. Вы пробовали разделить агента: дорогая модель для генерации SQL, простая – для интерпретации данных?

Теоретически такая схема возможна, но на данный момент не используется.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

⬆️ В ожидании записи свежего вебинара предлагаем пересмотреть премьерный вебинар по DataForge: «Как навести порядок в показателях, витринах, бизнес-логике и BI-отчётах» – особенно актуально для тех, кто не был.

⚡️На первом вебинаре мы разобрали:
🔥Какие задачи решает DataForge, и как он ускоряет работу любых подключенных систем.
🔥Структуру продукта: его место в архитектуре DWH и ключевые компоненты.
🔥Как устроен семантический слой: РПИ и единая логика расчётов.
🔥Как работает автоматическая генерация SQL и публикация витрин в БД.
🔥Как DataForge обеспечивает согласованность метрик и прозрачность данных в любых BI-инструментах.
🔥Как платформа автоматически транслирует изменения семантического слоя во все связанные системы.

📌 Запись доступна на Rutube и YouTube.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

Release Date: 7 мая 2026

⚡️ DataForge: относительные показатели в транспонированных витринах – предрасчет без потери точности

Аналитики, знакомая дилемма?
🟣 С одной стороны – хочется выгрузить в витрину готовые показатели (рентабельность, конверсию, долю). Чтобы BI просто показывал цифры, не пересчитывая сложную логику. Быстро, удобно.
🟣 С другой стороны – классическая витрина с предрасчитанными относительными показателями ломает агрегацию. Усреднили рентабельность по месяцам – получили неверный результат за квартал.
Замкнутый круг: либо тянуть логику в BI, либо предрасчитывать, но терять корректность.

Что сделали в DataForge?
Для транспонированных витрин система автоматически добавляет три служебных поля:
1️⃣ Числитель.
2️⃣ Знаменатель.
3️⃣ Флаг простого показателя.

Пример с рентабельностью за квартал:
⛔️ Классический BI усреднит: (1.20 + 1.30 + 1.25) / 3 = 1.25
✔️ Правильно: сумма числителей / сумма знаменателей = 1.2375
Ошибка может достигать десятков процентов.

И главное – это единый подход работает для ЛЮБЫХ показателей:
🟣 Для относительных (рентабельность, конверсия) – формула корректно агрегирует через числитель и знаменатель.
🟣 Для простых / аддитивных (выручка, сумма) – та же формула автоматически дает правильную сумму благодаря флагу простого показателя.

Одна универсальная формула (пример для Power BI):

text
DIVIDE(
SUM([Значение числителя]),
SUM([Значение знаменателя]) + MAX([Простой показатель]),
0
)

🟣Для относительных: деление сумм с реальными значениями знаменателей.
🟣Для простых: сумма значений числителей, так как сумма знаменателей всегда 1.

📌 Главный итог:
Аналитику больше не нужно думать, какой тип показателя перед ним. Не нужно писать разные формулы. Не нужно выбирать между удобством предрасчета и точностью агрегации.

Одна формула – любые показатели на любых срезах и периодах.

➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataArchitecture #транспонированныевитрины #DataForge

🔥 Запись вебинара: «Семантический слой + AI-агенты: новый уровень работы с данными»

Для тех, кто пропустил, на недавнем вебинаре мы рассказали про сквозное управление данными с помощью AI-агентов на платформе DataForge – приятного просмотра!

⚡️ Что успели разобрать:
🔥Как устроен семантический слой в Data Forge: реестры показателей и измерений и единая логика расчетов.
🔥Как платформа ускоряет формирование семантического слоя с помощью AI.
🔥Как AI-агент позволяет бизнес-пользователям получать аналитику в режиме реального времени (SQL, графики, дашборды).

DataForge – российская self-service-платформа, которая реализует полный цикл работы с корпоративной аналитикой: от написания бизнес-требований до автоматического построения витрин данных в DWH.

О платформе:
🔥Это новый класс платформ для управления данными на основе семантического слоя с AI-ready-интерфейсом
🔥Интегрируется с любыми аналитическими системами, в том числе BI
🔥Участник исследования Self-Service-круг Громова 2026

📌 А также ответили на вопросы участников здесь:
Часть 1
Часть 2
Часть 3
Ответить на свежие – готовы под постом ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#integrationlayer #AIагенты #DataForge #DataForge_вебинар

📌 Как собрать аналитическую витрину данных и выгрузить её в Excel или БД

В этом видео мы показываем, как в DataForge создавать витрины данных на основе уже описанных показателей и измерений, а затем выгружать полученный результат в различные форматы.

В видео-инструкции вы узнаете:
🟣 как создать новую витрину данных,
🟣как добавить необходимые показатели и измерения,
🟣каким образом проверить корректность полученной структуры,
🟣как выгрузить витрину обратно в базу данных,
🟣как экспортировать результат в Excel для дальнейшей работы пользователей.

📌 Такой подход позволяет стандартизировать подготовку данных, ускорить разработку BI-решений и обеспечить единое понимание того, какие данные используются в отчётах и аналитических системах.

➡️ Запросить демодоступ и протестировать DataForge

➡️ Аналитическая витрина — это тот слой данных, с которым чаще всего работают BI-системы, отчёты и конечные пользователи.

Именно от качества витрин зависит скорость разработки дашбордов, производительность аналитики и удобство использования данных бизнесом.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #витринаданных #полезноевидео_DataForge

⚡️ Снова #вебинар
Когда: 1 июля в 9:00 (Мск)

Тема: DataForge: наводим порядок в данных с единым семантическим слоем – для пользователей и ИИ-агентов

📌 На вебинаре коллеги представят DataForge – self-service-платформу полного цикла: от бизнес-требований через реестр показателей до генерации DDL и автоматического построения витрин в DWH. Покажут, как в платформе устроен семантический слой – единая точка истины для всех подключенных систем и ИИ-агентов, которая снимает рутину и исключает разночтения на всех этапах.

Встречаемся в Zoom! ➡️ Регистрация по ссылке

Спикеры: технический директор и владелец продукта. В числе приглашенных экспертов – Сергей Громов, CEO BI Consult.

#Вебинар #datalearn

Уважаемые коллеги!

Мы благодарим всех, кто принял участие в вебинаре «DataForge: наводим порядок в данных с семантическим слоем — для пользователей и ИИ-агентов», который состоялся 1 июля.

⚡️Запись скоро появится на видео площадках.

📌Презентация экспертов доступна по ссылке: https://disk.yandex.ru/i/4URDVweRhU_D9A

⬇️ Задать вопрос и оставить обратную связь о вебинаре можно в комментариях под этим постом.

Запросить демодоступ к платформе DataForge – можно на сайте dataforg.ru

Ниже мы опубликуем ответы на вопросы участников вебинара.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

Release Date: 6 июля 2026
 
 ⚡️ В DataForge появился Конструктор формул
 
➡️ Создавайте расчётные показатели, производные измерения и факты без ручного ввода – с помощью визуального Конструктора формул из готовых блоков.
 

Что изменилось?
1️⃣ Визуальная сборка формул
Больше не нужно помнить синтаксис и искать пропущенные скобки. Собирайте выражение из совместимых элементов, а DataForge автоматически сформирует корректную формулу и не позволит ошибиться.
 
2️⃣ Понятная диагностика ошибок
Если в расчёте обнаружится ошибка – несовместимые типы данных, неверные аргументы функции или отсутствующая зависимость – DataForge выделит ее цветом, объяснит причину и подскажет, что необходимо исправить. Любую существующую формулу теперь можно открыть в виде наглядной схемы из блоков.
 
3️⃣ Прозрачные зависимости
За один клик проследите всю цепочку зависимостей – от расчётного показателя до исходных полей в подключённых источниках данных. Анализ, отладка и сопровождение даже самых сложных расчётов стала проще.
 
4️⃣ Полная совместимость
Все ранее созданные формулы полностью совместимы с новым Конструктором. Продолжайте использовать их без изменений или открывайте в визуальном редакторе для доработки. DataForge по-прежнрему формирует стандартную текстовую формулу, поэтому существующие модели и интеграции остаются без изменений.

 
#Конструктор_формул уже доступен в DataForge! Начните использовать платформу и работайте с расчётами быстрее, нагляднее и с фокусом на бизнес-логике.
 
 ➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #DataForge_updates

📌 Модель данных без хаоса: факты, PK/FK и проверка показателей в DataForge

В этом видео разбираем практический процесс моделирования данных в DataForge. Вы увидите, как описывать таблицы фактов, настраивать связи между сущностями и проверять, что показатели действительно считаются корректно.

В видео-инструкции рассматриваются:
🟣переход к работе с таблицами фактов,
🟣обзор основных элементов модели,
🟣настройка визуализации,
🟣детализация и свойства показателей,
🟣настройка первичных (PK) и внешних ключей (FK),
🟣создание фильтров,
🟣проверка корректности показателей,
🟣итоговая сборка модели данных.

📌 DataForge позволяет документировать модель данных, обеспечивать прозрачность её структуры и создавать единое пространство взаимодействия между бизнесом и ИТ.

➡️ Запросить демодоступ и протестировать DataForge

➡️ Правильно построенная модель данных – основа любой аналитической системы. Именно на этом этапе закладываются качество отчётности, корректность расчётов и возможность масштабировать аналитику без постоянных доработок.

DataForge | Подпишитесь и следите за обновлениями платформы 🔗

#DataForge #модельданных #полезноевидео_DataForge

⚡️ Запись вебинара: «DataForge: наводим порядок в данных с семантическим слоем — для пользователей и ИИ-агентов»

Для тех, кто пропустил, 1 июля на вебинаре мы снова показали self-service-платформу полного цикла: от бизнес-требований через реестр показателей до генерации DDL и автоматического построения витрин в DWH – приятного просмотра!

Единый семантический слой в DataForge – единая точка истины для всех подключенных систем и ИИ‑агентов, которая снимает рутину и исключает разночтения на всех этапах.

⚡️Участники вебинара увидели:
— как создать витрину данных из показателей и измерений без ручного написания SQL,
— как DataForge генерирует SQL-код, таблицы, views и materialized views в хранилище,
— как централизованно изменить формулу показателя сразу для нескольких дашбордов и BI-систем,
— как добавить новую метрику в аналитическую модель без переработки дашборда,
— как устроены реестр показателей, дерево зависимостей и анализ происхождения данных,
— как сравнивать версии модели и переносить изменения между средами,
— чем DataForge отличается от dbt, Data Catalog, ETL-платформ и семантических моделей внутри отдельных BI-систем,
— как подключить семантический слой к ИИ-агентам через API и MCP,
— почему бизнес-определения, формулы и корректные JOIN-пути критически важны для Text-to-SQL и корпоративных AI-ассистентов,
— как развернуть DataForge в собственном контуре или облачной инфраструктуре.

📌Презентация экспертов доступна по ссылке: https://disk.yandex.ru/i/4URDVweRhU_D9A

⬇️ Задать вопрос и оставить обратную связь о вебинаре можно в комментариях под этим постом.

Запросить демодоступ к платформе DataForge – можно на сайте dataforg.ru

Ниже публикуем ответы на вопросы участников вебинара.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

🔥 DataForge: отвечаем на вопросы участников вебинара ⬇️

На вебинаре 1 июля было много вопросов по функционалу и ИИ-возможностям платформы DataForge. Ниже – ответы на вопросы, которые эксперты не успели охватить в рамках прошедшего эфира (1️⃣ часть):

1. Продукт управляется как SaaS или поставляется на on-premise?

DataForge поставляется в виде Docker-контейнеров и может быть развернут локально (on-premise) на серверах внутри защищенного периметра компании. Продукт полностью функционирует без обязательного подключения к интернету.

2. Чем продукт глобально отличается от dbt?

Глобальное отличие в позиционировании: dbt — это инструмент для трансформации данных (ELT, подготовка данных на уровне модели), а DataForge — это инструмент для создания и управления конечными представлениями (витринами, датасетами), с которыми непосредственно работают пользователи и BI-системы. DataForge замыкает на себе слой семантики и бизнес-логики, предоставляя готовые к потреблению данные.

3. Что именно DataForge генерирует на выходе: SQL-код, физические таблицы, views, materialized views, semantic model, dataset для BI?

На выходе DataForge генерирует SQL-код, который создает в хранилище данных (СУБД) представления (views) или материализованные представления (materialized views), а также может создавать физические таблицы. Этот код может быть выполнен автоматически из интерфейса или скопирован для ручного использования. BI-системы подключаются именно к этим созданным объектам в базе данных.

4. Эти дашборды смотрят просто на одну витрину?

Да, в большинстве демонстрационных примеров дашборды подключаются к одной конкретной витрине, созданной в DataForge. Это обеспечивает единый источник данных для дашборда. Однако витрины могут быть разными (плоские или "свернутые" с метриками в строках), и одни и те же показатели могут использоваться в нескольких витринах.

5. В каких сценариях ваше решение применимо? Если у меня уже настроены все ETL, настроены data marts и есть data catalog.

Если ETL, Data Marts и Data Catalog уже есть, DataForge приносит ценность за счет централизации и управления бизнес-логикой на финальном этапе:
🟣Унификация показателей: Перенесите логику расчета показателей, которая сейчас "зашита" в разных BI-инструментах и Excel, в DataForge.
🟣Единое управление изменениями: Изменение формулы одного показателя в DataForge автоматически обновит все витрины и отчеты, подключенные к ним, без необходимости править каждый дашборд вручную.
🟣Самообслуживание пользователей: Бизнес-пользователи смогут собирать под себя новые витрины с нужными разрезами и показателями без помощи разработчиков, переключая BI-системы на созданные в DataForge представления.

6. Есть ли общий линейдж, показывающий, в каком дашборде какие метрики используются и из каких источников они считаются?

DataForge строит линейдж (происхождение данных) автоматически на уровне расчетов показателей: как показатель зависит от других показателей, измерений и полей в таблицах. Можно увидеть, в какие витрины попадает показатель. Однако до конкретных дашбордов линейдж не доходит, так как BI-системы подключаются к витринам напрямую, минуя DataForge. Также в недавно появилась функциональность Impact Analysis для просмотра влияния изменений на все элементы проекта, включая витрины.

7. Покажите витрину, которая используется для этого дашборда. Какие метрики считаются на стороне BI, а какие на стороне БД?

В демонстрации на вебинаре использовались две концепции витрин:
🟣Плоская витрина: Каждый показатель в отдельной колонке, расчет агрегированных значений происходит на стороне СУБД.
🟣"Свернутая" витрина: Показатели выводятся в строках, что позволяет добавлять новые метрики в дашборд без его изменения.

Ключевая идея DataForge — вынести максимум логики (95% показателей) на уровень витрин в СУБД, оставив в BI-инструментах минимум (например, простые фильтры или специфические неаддитивные расчеты). DataForge выступает эталоном для тех формул, которые все же остаются в BI.

Продолжение вопросов ниже ⬇️

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#DataForge #DataForge_вебинар

🔥 DataForge: ответы на вопросы участников вебинара 2️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 1 июля:

8. Зачем понадобилось придумывать свой язык для расчетов? Нельзя ли было остаться на SQL?

Свой язык для формул (схожий с Excel) был создан для доступности бизнес-пользователям, которые не являются SQL-разработчиками. Идея в том, чтобы пользователи могли описывать логику расчетов понятным способом, а система автоматически транслировала эти формулы в SQL-код для разных СУБД. Это делает инструмент управляемым не только инженерами, но и аналитиками.

9. Я верно понимаю, что решение может автоматически строить ODS и подключаться к любым источникам? Если да, то на какой механике?

Нет, это неверно. DataForge не строит ODS и не подключается к сырым источникам данных. Он подключается к уже существующему и подготовленному слою данных (Gold-слой DWH — таблицы фактов и измерений). Его задача — работать поверх этого слоя, описывая бизнес-смысл данных и создавая витрины для аналитики.

10. Чем строится абстрактно семантическое дерево?

Семантическое дерево (линейдж происхождения) в DataForge строится автоматически на основе связей, заведенных пользователем в Реестре Показателей и Измерений (РПИ). При создании показателя указываются его формула и зависимости от других показателей, измерений или полей в таблицах. Система анализирует эти связи и визуализирует их в виде дерева.

11. Можете рассказать реальные или типовые кейсы, где ИИ-агенты работают не напрямую с сырыми таблицами, а с данными и витринами, подготовленными через DataForge? Интересно понять, помогает ли DataForge сделать ответы ИИ-агентов более стабильными, управляемыми и бизнесово корректными?

Да, это прямой сценарий. DataForge предоставляет ИИ-агентам (через API или MCP-сервер) структурированное описание семантического слоя в JSON. Вместо того чтобы гадать по сырым таблицам, агент получает полный контекст: бизнес-смысл сущностей, эталонную логику расчетов и ссылки на конкретные поля. Это позволяет ИИ генерировать корректные SQL-запросы, основанные на единой и проверенной логике, что предотвращает "галлюцинации" и делает ответы более стабильными и бизнесово-верными.

12. Можно ли не «волшебникам» давать возможность править формулы и логику? Реализована ли возможность апрувить изменения инженеру после вмешательства в формулы не «волшебников»?

Да, такая возможность предусмотрена ролевой моделью:
🟣Аналитики и бизнес-пользователи (не "волшебники") могут работать с существующими сущностями, создавать новые показатели из них и корректировать формулы, так как модель уже настроена инженером
🟣Дата-инженеры подключают новые датасеты и выполняют маппинг (привязку бизнес-сущностей к физическим полям)
🟣В разработке находится функционал, где любое изменение от не-волшебников потребует верификации (апрува) от ответственного пользователя (владельца показателя или инженера) перед тем, как изменения будут транслироваться в продуктивные витрины.

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#DataForge #DataForge_вебинар

🔥 DataForge: ответы на вопросы участников вебинара 3️⃣ часть

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира 1 июля:

13. Инструмент полезный. Есть опасения не попасть на костыли или ограничения на какой-либо стадии жизни продукта. Какие есть риски использования инструмента?

Особенности реализуемой продуктом функциональности и текущее состояние продукта требуют учитывать следующие моменты:
🟣Ограничения логики: Не вся логика (например, сложные неаддитивные расчеты) может быть реализована на уровне хранилища данных (хоть через DataForge, хоть через любую другую систему), и часть может остаться на уровне BI
🟣Зависимость от DWH: Продукт требует наличия качественного Gold-слоя, он не решает проблемы «грязных» или неструктурированных данных на нижних уровнях
🟣Отсутствие статистического анализа: DataForge не предназначен для статистического моделирования (A/B-тесты, проверка распределений и т.д.) и для обеспечения качественного наполнения создаваемых витрин требует реализации подобных проверок на других уровнях
🟣Ограничения управления представлениями витрин: DataForge не является инструментом для оркестрации баз данных и поэтому требует наличия отдельных механизмов, которые будут обеспечивать актуальность данных в представлениях, созданных на основе сгенерированных в продукте SQL-скриптов

14. Кто ответственный тогда будет за данные? Если дата-инженер настроил пайплайн, бизнес-пользователи поправили формулы, и в итоге получили ошибки в дашборде. Как тут выстроить процесс? Есть ли ролевая модель?

Да, существует многоуровневая ролевая модель, которая разграничивает ответственность:
🟣Глобальные роли: Наблюдатель, Аналитик, Разработчик, Проджект-менеджер, Администратор
🟣Проектный уровень доступа: Права на конкретный проект могут настраиваться индивидуально (Наблюдатель, Аналитик, Разработчик, Владелец). Уровень доступа не может превышать глобальную роль

Ответственность выстраивается так:
1. Дата-инженер/Разработчик подключает источники (Gold-слой) и настраивает маппинг
2. Бизнес-пользователи/Аналитики (с правами не выше Аналитика или Разработчика) могут создавать и изменять формулы на основе существующих сущностей
3. Процесс изменений контролируется через роли и будущую функцию верификации, где изменения требуют апрува перед применением

15. Непонятно про тесты. Как обеспечить качество данных? Что делать, если данные кривые или пустые - алерты.

В DataForge есть функционал для валидации результатов. Пользователи могут создавать сценарии проверок (бизнес-проверки), где задают эталонные значения для показателей при определенных условиях. Система вычисляет показатели по фактическим данным и сравнивает с эталоном. Это позволяет на уровне бизнес-данных (выручка, возвраты) убедиться в корректности расчетов и выявить проблемы с данными на финальной стадии.

16. Кто ключевой клиент: инженеры или бизнес? Инженерам нужен code, бизнес-пользователям – нет.

Ключевые клиенты — и инженеры, и бизнес-пользователи, но на разных этапах:
🟣Дата-инженеры и архитекторы на этапе внедрения: подключают хранилище, настраивают модели, выполняют маппинг
🟣Бизнес-пользователи и аналитики на этапе эксплуатации: используют уже настроенный семантический слой для создания и поддержки отчетов, корректировки формул и управления логикой без написания SQL-кода

17. Не хватает подхода «аналитика как код». Хочется уже сразу разговаривать с AI-агентом, чтобы он там все строил и кверил. Руками уже лениво работать и кликать)

DataForge уже движется в этом направлении:
🟣Есть работающий MCP-сервер и ИИ-ассистент, которые могут генерировать корректные SQL-запросы и строить отчеты по текстовым запросам, используя семантический слой в качестве контекста
🟣Разрабатывается механизм для автоматического заполнения РПИ через ИИ-агента, который анализирует структуру существующего хранилища

18. Было бы здорово все это дело положить в гит репо и уже там с помощью YAML или SQL описывать трансформации.

Сейчас в DataForge есть внутреннее версионирование проектов (создание версий, сравнение). Интеграция с Git (возможность полной выгрузки проекта в Git) находится в планах разработки. Текущий подход — управление через веб-интерфейс, а не через код в репозитории, хотя API для программного доступа к метаданным уже есть.

19. Было еще хорошо показать демо, как вот прям с 0 построить что-то. Допустим открыли новый проект и там просто и показать шаги и рассказать.

Стандартная последовательность действий при начале работы с продуктом описана в документации продукта и включает шаги:
1. Создать новый проект
2. Описать показатели, измерения и факты в РПИ
3. Объединить их в таблицы фактов и справочники
4. Настроить подключение к хранилищу данных
5. Выполнить маппинг логической модели на физическую
6. Настроить витрины с необходимыми показателями и измерениями
7. Создать представления для витрин в хранилище (автогенерация SQL)
8. Подключиться в BI-системе к созданным представлениям и строить отчеты

Эти шаги и были в целом продемонстрированы на вебинаре через интерфейс. Дополнительно можно посмотреть следующие короткие видеоинструкции по работе с продуктом:
🟣Как в DataForge создать семантический слой для BI и AI: показатели, измерения и происхождение данных - https://rutube.ru/video/private/434df249e05dc979e833b18dde33e2ab/
🟣Модель данных без хаоса: факты, PK/FK и проверка показателей в DataForge - https://rutube.ru/video/private/d445b512f715ff2f8a861fc0a6bf4a62/
🟣Как в DataForge собрать аналитическую витрину данных и выгрузить её в Excel или БД - https://rutube.ru/video/private/025c95fdbd86e321dadd0496b3b4709e/
Также есть возможность запросить персональное демо продукта, чтобы уточнить все детали реализации проекта “с нуля” на нём.

 ➡️ Запросить демодоступ и протестировать DataForge

DataForge | Подпишитесь и следите за обновлениями продукта 🔗

#DataForge #DataForge_вебинар