На вебинаре было много вопросов по функционалу и техническим особенностям платформы. Ниже – перечень ответов на вопросы, которые эксперты не успели охватить в рамках эфира (1 часть):

1. Чем DataForge отличается от витрин с описанием?

DataForge – это не статическое описание витрин, а исполняемый семантический слой, который управляет логикой расчётов. При изменении формул в DataForge витрины автоматически обновляются и становятся доступными во всех подключённых BI-системах.

2. Чем DataForge отличается от дата-каталога?

Дата-каталог, как класс продуктов, предназначен в первую очередь для документирования и описания всех существующих данных, не влияя на их преобразования.
DataForge же фокусируется на создании и управлении семантическим слоем для аналитических данных в связке с формированием витрин в хранилищах, обеспечивая использование единой логики расчётов во всех аналитических системах.

3. С каким технологическим стеком есть интеграции кроме PostgreSQL и ClickHouse? Поддерживаются ли S3 или Trino?

На текущий момент DataForge поддерживает PostgreSQL, Microsoft SQL Server и ClickHouse. При этом продукт ориентирован на взаимодействие с хранилищами данных через SQL-запросы. Это позволяет в дальнейшем расширять поддержку различных реляционных СУБД, аналитических хранилищ и SQL-движков, включая Trino.
Кроме того, мы учитываем растущую популярность архитектур Lakehouse и формата Apache Iceberg и планируем соответствующие интеграции. Они, в том числе, позволят работать с данными, размещёнными в объектных и файловых хранилищах, таких как S3.

4. Что в понятиях DataForge подразумевается под "Сверкой расчётов"? Есть ли проверка распределений на нормальность, мультимодальность, мультиколлинеарность? Возможно ли построение квантильных графиков?

DataForge не предназначен для выполнения статистического анализа и не реализует проверки распределений, корреляций или построение статистических графиков. Его основная задача – управление семантическим слоем и формирование витрин данных.
При этом в рамках «сверки расчётов» пользователи могут непосредственно в продукте вычислять значения показателей по заданным формулам на фактических данных источника, моделировать различные сценарии и сравнивать полученные результаты с внешними эталонными отчётами. Это позволяет проверить корректность формул и бизнес-логики до использования витрин в BI-инструментах.

5. Возможно ли использование DataForge для проведения A/B-тестов, факторного анализа и статистического моделирования?

Нет, DataForge не предоставляет инструментов для статистического моделирования. Это платформа для централизованного управления семантическим слоем и построения витрин.

6. Есть ли в DataForge возможность построить дерево метрик?

Да, DataForge автоматически строит дерево зависимостей (происхождение) для показателей (метрик), помогая понять, как одни показатели вычисляются на основе других.

7. Можно ли сказать, что DataForge похож на решение Oracle BI в части построения модели?

Да, на более общем уровне в DataForge используются те же самые внутренние слои у моделей:
- Физический слой фактического хранилища данных, с которым пользователи напрямую не работают
- Логический слой описанных пользователями моделей данных, которые связываются с необходимыми полями и таблицами из физического слоя
- Слой представления, описывающий понятные пользователям бизнес-сущности, созданные на основе элементов из логического слоя.
Однако в деталях реализации, естественно, возможны значительные различия.

8. Как был подключен к данным показанный в демо дашборд в FineBI?

Основным источником данных, где создавались витрины для демонстрационных дашбордов как в FineBI, так и в других BI системах, был ClickHouse. При этом в FineBI было настроено Direct подключение к необходимой витрине, а Excel и Power BI загружали эти данные в свои внутренние модели. Подключение к PostgreSQL использовалось только в рамках сценария миграции, где дашборд в Power BI переключался с витрины в PostgreSQL на созданную копию этой витрины в ClickHouse.

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира (2 часть):

9. Где существуют создаваемые представления витрин? В хранилище данных? Т.е. это, по сути, надстройка над хранилищем? Что мешает сделать вьюшку на реальных источниках, зачем использовать DatataForge? Этот продукт делает только представления, или как-то их ещё оптимизирует, например, делает индексы для быстрого поиска?

DataForge исключает человеческий фактор и обеспечивает контроль версий бизнес-логики. В отличие от ручного написания SQL, где каждый разработчик может интерпретировать правила по-своему, DataForge гарантирует, что все витрины будут построены по единым, согласованным и прозрачным правилам. Это снижает количество ошибок и избавляет от долгих разбирательств при расхождениях в отчетности.

10. Какая польза от продукта не в упрощенных, а в реальных сценариях, когда много логики закладывают в самом BI инструменте? Например, с FineBI много логики закладывается в расчетные поля внутри BI системы, и это одна из проблем взаимодействия с каталогом данных. Как эта проблема решается в DataForge?

В реальных сценариях в BI инструментах очень часто закладывают слишком много логики, значительную часть которой можно вынести на уровень витрин через DataForge, оставив в BI инструментах самый минимум. При этом основная бизнес-логика становится независимой от конкретных BI инструментов и может быть легко использована для параллельной работы в разных BI инструментах или при переходе с одного BI инструмента на другой. А для той логики, которую всё равно приходится оставлять в BI инструментах, DataForge выступает в роли хранилища эталонных формул расчёта, на которые должны ориентироваться BI разработчики при создании своих отчётов и дашбордов.

11. Не заставит ли использование продукта прописывать все формулы по два раза - один раз в DataForge и еще один раз в BI системе после сбора семантической модели?

DataForge предполагает, что вся основная логика расчётов вынесена на уровень витрин, и формулы для этих расчётов не требуется повторять в BI системе. При этом для отдельной логики, которую проблематично реализовать в универсальном виде на уровне витрин (например, расчёт неаддитивных показателей типа выполнения плана в %), да, может потребоваться прописать формулы и в DataForge, и в BI, но смысл тут остаётся в том, что во всех отчётах и дашбордах во всех BI системах все BI разработчики прописывают эти формулы “второй раз” по одному и тому же эталону, что помогает обеспечить единообразность расчётов. К тому же в будущем в DataForge планируется добавление возможности для конвертирования формул из описания семантического слоя в формат требуемой BI системы, чтобы такие формулы было проще переносить в BI при создании отчётов и дашбордов.

12. Можно ли использовать DataForge с Power BI, и какая будет польза?

Да, Power BI, как и любая другая BI система, может подключаться к витринам, созданным через DataForge. Польза в обеспечении независимости используемой логики расчётов от конкретной BI системы и прозрачной синхронизации этой логики между разными отчётами и разными BI системами.

13. Какая практическая польза от внедрения DataForge в связке с Qlik Sense?

Если Qlik Sense используется как визуализатор, DataForge создаст для него витрины. Если Qlik Sense включает ETL-функции, DataForge может работать в качестве описания семантического слоя, содержащего понятную бизнесу эталонную логику расчётов.

14. Как DataForge помогает мигрировать с одних BI систем на другие, например с Tableau / Power BI на тот же Superset?

DataForge хранит единую логику показателей и витрин. При миграции вы подключаете новую BI систему к тем же витринам, и вся бизнес-логика остаётся неизменной.

Продолжение ответов на вопросы, которые не успели охватить в рамках эфира (3 часть):

15. Не будет ли DataForge дополнительным слоем, который только усложнит работу?

DataForge добавляет слой управления, но упрощает поддержку и обновления за счёт централизации логики. Это снижает нагрузку на дата-инженеров и ускоряет доставку актуальных данных бизнес-пользователям, что может быть особенно заметно в entrpise-средах с большим количеством таблиц фактов, витрин, дашбордов и пользователей.

16. Как DataForge помогает решить одну из основных проблем Каталогов данных для ИИ ассистентов - отсутствие единого семантического слоя для поиска метаданных?

DataForge предоставляет ИИ ассистентам полное структурированное описание семантического слоя в JSON формате, содержащее и бизнес-смысл сущностей, и эталонную логику расчётов, и ссылки на конкретные поля в источниках данных, что позволяет ИИ ассистентам получать полный контекст и генерировать корректные запросы. При этом уже есть работающий с DataForge MCP сервер и ИИ ассистент, который может по текстовым вопросам пользователей генерировать соответствующие корректные запросы к БД с использованием описания семантического слоя из DataForge в качестве контекста.

17. Есть ли API для интеграции с self-hosted LLM?

Да, DataForge предоставляет API для чтения описаний семантического слоя, и этот API можно использовать для интеграции как с self-hosted LLM, так и с другими ИИ инструментами.

18. Как происходит лицензирование? В чём различия тарифов?

Модель лицензирования DataForge основана на подписочной системе. Стоимость зависит от количества пользователей и технических лимитов. Подписка DataForge доступна в трёх форматах:
- Базовый бесплатный тариф: включает базовый бесплатный функционал. 1 пользователь, 1 проект, без версионирования и возможностей создания и управления представлениями витрин в БД. Только описания семантического слоя, моделей таблиц фактов и витрин, а также генерация SQL кода для ручного создания витрин в базе с использованием других инструментов.
- Профессиональный тариф: полная функциональность продукта с возможностью работы до 5 пользователей и ограничением на максимальное количество проектов и версий.
- Корпоративный тариф: индивидуальные условия на необходимое количество пользовательских лицензий, включая различные лицензии на создание и редактирование проектов и на просмотр созданных проектов, полная функциональность продукта без ограничений на максимальное количество проектов и версий.

➡️ Подробное сравнение лицензий DataForge доступно на сайте платформы: dataforg.ru

Release Date: 27 февраля 2026

📢 Про модель данных и переносимость артефактов

Коротко о том, что сделали в DataForge по «ядру» – модели и переносимости.

Что изменилось:
→ Появилось отображение полной логической модели данных: все созданные таблицы фактов + справочники + связи между ними – теперь видно как единую картину.
→ Ввели единый текстовый формат ссылок на подключенные поля в таблицах БД – это важно для нормального экспорта/импорта артефактов вместе с РПИ (без ручных «починок» после переноса).
→ Параллельно чистим технический долг: много мелких проблем закрыто, продукт становится предсказуемее на реальных проектах.

Если хотите, соберём в отдельном посте скрин/мини-демо логической модели, ставьте – 🔥

#DataForge #DataForge_updates

DataForge team | Все новости о продукте

⚡️ Где должна жить бизнес-логика в аналитике. И почему KPI постоянно «плывут»

Часто проблема расходящихся метрик – не в качестве данных или BI-инструменте. А в архитектуре.

В типичной ситуации бизнес-логика распределена по всему стеку:
→ Часть формул в ETL
→ Часть – в витринах
→ Остальное – в BI и Excel

Результат предсказуем: чтобы изменить один показатель, правим в 5 местах. KPI в отчётах разные, доверие к данным падает. Знакомо? Решение простое и сложное одновременно:
Бизнес-логика должна жить в одном месте – в интеграционном слое.

Почему именно там?
✅ Данные уже очищены и согласованы
✅ Но ещё не агрегированы под конкретный отчёт
✅ Это единственная точка, где можно определить бизнес-смысл один раз

Все downstream-слои (витрины, BI) должны только использовать готовые правила, а не определять их.

Главный принцип:
Семантика – часть модели данных, а не отчётов.

➡️ Читать полную статью

#DataArchitecture #integrationlayer #DataForge

DataForge team | Все новости о продукте