Экстрактор и Аналитика данных. Из 1С в BI
342 subscribers
193 photos
4 videos
3 files
188 links
Пишем про нашу разработку “Экстрактор из 1С в BI ” и BI-услуги, помогаем разобраться в аналитике данных в 1С и BI, делимся кейсами и отзывами клиентов.

Экстрактор: https://clck.ru/3C24T6
Все вопросы/ответы: https://t.me/extractor1CBI
Download Telegram
Делимся с вами записью выступления «Синергия Loginom и «Экстрактор 1С». Разгоняем аналитику данных до максимума», которое прошло в рамках TECH WEEK 26 июня 2024.

Смирнов Денис (CEO компании “Денвик”) и Алексей Арустамов (CEO Loginom Company), выступили с докладом, в котором рассказали о методах извлечения данных из 1С для последующего анализа. Они рассмотрели преимущества Экстрактора 1С и представили тесты производительности low-code платформы Loginom.

Посмотреть можно по ссылке. Также на сайте делимся презентацией доклада.
Как вы знаете, 1С не умеет работать с PostgreSQL напрямую. для работы нужен ADODB (ODBC)-драйвер, который в 1С поднимается как COM-объект.
В результате, связка 1С + Экстрактор 1С + PostgreSQL не может работать, если 1С Сервер запущен на Linux

Мы тут подумали и решили исправить эту несправедливость.

Сделали http-proxy, назвали его - "http-postgresql".

В итоге все очень просто:
1. Ставите виртуальную машину
2. запускаете на ней наш сервис (код открытый, написан на Python 3.12.1, там все элементарно оказалось 😄)
3. а в 1С Экстракторе в качестве Подключения к PostgreSQL указываете данный сервис и прописываете доступы к вашему PostgreSQL

Потестили, поигрались с нагрузкой - все работает отлично.
Присоединяйтесь к тестированию

https://gramax.denvic.ru/extractor_docs/nastroyki/podklyuchenie-k-subd-iz-extraktora/iz-extraktora-1s/postgresql-sozdanie-novogo-podklyucheniya

Смотрите закладку документации: Через HTTP-интерфейс
Совместный вебинар компании “Денвик” и PIX BI “Как эффективно выгружать данные из 1С в BI и сколько способов для этого существует?”.

1C — это закрытая проприетарная система, подключиться к которой напрямую и просто выгрузить данные без нарушения лицензионной политики нельзя.

Анализ продаж и задолженности, оборот товара, управление запасами, план продаж – это и многое другое можно анализировать в PIX BI, получив данные из 1С с помощью ETL-инструмента Экстрактор 1С.

На вебинаре:
Разберем основные проблемы получения данных из 1С;
Рассмотрим разные способы выгрузки данных из 1С в PIX BI;
Продемонстрируем выгрузку из 1С в PIX BI без написания кода;
Покажем кейс в режиме реального времени.

5 сентября в 11.00 (МСК) ждем вас на онлайн-встрече.

Зарегистрироваться
Начинается осень. Самое время для того чтобы выступить на конференциях.
- 26.09 будем с стендом в Москве на "Управление данными 2024"
- 10-12 октября (если хватит голосов, то буду в Питере на Инфостарт Tech. Если можно проголосуйте за мой доклад плиз.
- 14.11 идем со стендом на РуBIКонф (Москва). Ждем одобрения
- 20.11 будем со стендом на PromIT (Москва)

Заглядывайте к нам на стенды, приходите на выступления.
В условиях, когда в штате работает один специалист 1С, компания сталкивается с дилеммой: акцентировать усилия на дальнейшем развитии и усовершенствовании системы 1С для повышения эффективности бизнес-процессов или же направить ресурсы на создание отчетов 1С для руководителей на постоянной основе.

С одной стороны, невозможность своевременного обновления и развития базы 1С ограничивает потенциал автоматизации процессов. С другой стороны, задержки в подготовке актуальных отчетов на основе данных 1С для руководителей могут привести к затруднениям в принятии своевременных и обоснованных решений.

В этом кейсе мы расскажем, как внедрили Экстрактор 1С в работу компании “СТЭС” и высвободили время программиста 1С для дальнейшей автоматизации предприятия.
Forwarded from Yandex Cloud
Как выгрузить данные из 1C? Задача со звёздочкой, ведь это можно сделать только с помощью методов 1С, через OData и сторонние решения.

Один из возможных вариантов — использовать «Экстрактор 1С». Его разработала компания «Денвик» специально для сервиса Yandex DataLens.

О том, как настроить выгрузку данных с помощью «Экстракотора 1C» и визуализировать в Yandex DataLens, рассказал Денис Смирнов, директор группы компаний «Денвик».

Статья будет особенно полезна тем, кто давно хотел визуализировать данные из 1С, но не знал, с чего начать.

Читать.

#yacloud_articles
Please open Telegram to view this post
VIEW IN TELEGRAM
Версия 3.2.2.2 (beta)

1. Исправлена ошибка при перестановке строк проекта.
- В строку проекта добавлен идентификатор.
- Инициализирован номером строки.
- В очереди сохраняется вместо номера строки идентификатор строки.
- В вызовах обработчиков номер строки заменен на идентификатор строки.
- В вызове выгрузки номер строки заменен на идентификатор строки.
2. Добавлен преопределенный обработчик данных источника: Заполнение поля датой старта выгрузки строки
3. Подстановка Имени объекта, Параметров, Полей в список выбора в обработчике инициализации очереди
4. Передача параметров запроса в обработчик регистрации изменений
5. Добавлено предопределенное вычисляемое поле (еще одна функция в "вычисляемых полях"): ТекущаяДата()
А вот и крутой отзыв по свежему проекту от нашего топового партнера - Евгения Стучалкина. С которым мы сделали уже много проектов, в связке Экстрактор 1С + Loginom
Отличный день, чтобы подвести итог первого собственноручно выполненного импортозамещенного проекта от сырых данных до дашбордов для компании ОЗК.

Стек:

Loginom 7.2.1 - консолидация 1300 эксель файлов, очистка данных и создание моделей в Clickhouse с помощью Data Monetization Pack (https://marketplace.loginom.ru/solutions/data-monetization-pack/);
1С Экстрактор от Денвик - Выгрузка данных из 10+ баз 1С дочерних обществ, с разработкой скрипта авторазвертывания на копиях баз;
Clickhouse - Приемник сырых данных из Экстрактора, хранилище готовых для визуализации моделей;
Visiology 3.8 - Визуализация данных.

Вывод №1: Селф-сервис на российских платформах скорее есть, чем нет. Даже если это не одна платформа, а комбинация нескольких. Т.к. мои навыки программирования по-прежнему на уровне плинтуса, а проект всетаки реализован).

Вывод №2: У российских вендоров отличные поддержки и сообщества. Там где не хватало опыта или понимания, очень быстро помогали разобраться.

Вывод №3: Для работы с данными из 1С Денвик - мой подрядчик №1. Ребята не только делают отличное решение для самостоятельных выгрузок любых данных, но и имеют огромную экспертизу в 1С и помогают решать вопросы за рамками Экстрактора.

Со временем предоставим разбор этого кейса отдельно по каждому направлению.

А пока хочу дать более детальное впечатление о Visiology 3.8, с которой я тесно провел последние полтора месяца). И так:


Что понравилось:
- Гибкость синтаксиса DAX, реализованного в 3.8. Поначалу я думал что это некая имитация, в которой есть прибитые гвоздями конструкции, визуально похожие на DAX. А по факту там можно комбинировать фукнции, в т.ч. играть с уровнями вложенности. Например можно прописать фильтры для агрегации внутри CALCULATE. А можно унаследовать от внешнего CALCULATE. Когда станет можно подставлять в формулы метки показателей - это будет новый уровень удобства разработки.

- Гибкость настройки визуала: наслаивание визов, гибкое расположение элементов, настройка оформления. Можно создать интересное оформление дашборда без заорочек с версткой.

- Визуальный конструктор модели. Да, пока только звезду можно собрать. Но мне всеравно, ведь я знаю как делать звезду из любого датасета) Сами таблицы модели готовятся в Loginom. https://study.bi2business.ru/cumba

- Отличная поддержка (спасибо Влад!), которая помогала по JS-части.

- Производительность выглядит достойной, но глубоко не копал (с оптимизацией при этом особо не парился, все расчеты на сырых данных 2,5 млн строк)

Что давало поддых
- ФОРМАТЫ ЧИСЕЛ!!! Реальная боль. Стандартными средствами это не настраивается. Или ты удовлетворен тем что показывает виз по умолчанию. Или нужно писать JS либо в спец. окошке в настройках виджета. Или лезть прям в код самого виджета. Сделать Х разных форматов мер в одном визе - умножайте вашу боль на Х! Писал Владу просто по КД!

- Необходимость каждую меру создавать в датасете. Нельзя создать локальную меру в визуализации. Иногда нужно делать вариант показателя, который будет отображаться только в одном визе и все. Он не нужен в списке мер датасета (даже на уровне дашборда)

- Система с зависимостью фильтров: для каждого виза можно указать, на какие другие визы будут влиять выборки в нем. Вроде удобно, но! Если у вас есть группа виджетов, которые должны работать независимо от других - каждый новый виджет вам нужно будет отвязывать от влияния этой группы. Прокликивать каждый элемент и отживать зависимость на каждом визе. А иногда они даже не на одном экране) Где сделано хорошо: Qlik Sense. Там пользователь может создать любое кол-во контекстов фильтров. И на каждый виз повесить в каком контексте он работает. Так можно удобно на одном листе комбинировать несколько логик отборов. Но вообще хорошо что хотя бы на таком уровне можно настраивать.

- Нет прозрачного использования агрегаций и элементов датасета в подписях. Например, хочу чтобы в тексте выводилась строка, отображающая список филиалов в текущей выборке. Технически сделать можно, но через JS в поле подписи.
Наш партнер PIX Robotics совместно с DataYoga запускают первый цифровой Триатлон по работе с данными и бизнес-процессами!

PIX Триатлон — это бесплатный онлайн-спринт по прокачке навыков работы с данными и бизнес-процессами. И все это в формате реальных кейсов, дискуссий с экспертами рынка и простых практических заданий.

В программе 3 трека:

9-13 сентября - Управление процессами (PIX Процессы);
16-20 сентября - Бизнес-аналитика (PIX BI);
23-27 сентября - Роботизация процессов (PIX RPA).

Программа составлена так, что подойдет как начинающим, так и опытным специалистам:

- новички изучат новые инструменты,
- профессионалы расширят свои компетенции,
- руководители получат новые точки для роста бизнеса.

Трек можно выбрать любой или пройти все и получить максимум пользы. Ежедневное время на "ИТ-тренировки" - от 30 минут до 2 часов. А за прохождение каждого трека вы получите сертификат.

Участие в Триатлоне бесплатное, а знания - бесценные.

Регистрация
Мы тут подумали, подумали... и запилили выгрузку в Apache Kafka 👌

Уже доступно в beta-версии - 3.3.1.4

Если есть желание, пишите в комменты к этому посту, будем организовывать тестирование. Пожелания к доработкам, выявлению багов - принимаем!

ЗЫ:
Чуть позже поддержим и ArenaData Streaming
26 сентября в Москве пройдет IX ежегодный форум, посвященный стратегическим аспектам организации работы с данными, а также реализации подходов Data-Driven в организациях и компаниях.

Наш директор Денис Смирнов выступит на конференции с докладом “Проблема ETL для экосистемы 1С: решение и опыт”, в котором поделится ключевыми моментами при работе с данными в 1С и способами их выгрузки, а также расскажет про наше ETL-решение “Экстрактор 1С в BI”.

В рамках Форума в этот же день будет действовать выставка, в которой мы также примем участие. Подходите к нам и мы подробно расскажем (и покажем!) про Экстрактор 1С!

Для наших посетителей дарим промокод на скидку 10%: DM24denw10

🗓️26 сентября
📍Москва, Radisson Blu Leninsky Prospect Hotel

Подробности и регистрация
Вы давно хотели внедрить BI-систему в свой бизнес, но не знаете, с чего начать?

В новой статье на нашем блоге вы узнаете, как пройти этот путь без лишних сложностей! Мы подробно разбираем все этапы внедрения — от планирования до интеграции с существующими процессами.

Узнайте, как превратить данные в мощный инструмент для принятия решений и повысить эффективность вашей компании!

👉 Читайте статью
Экстрактор 1С умеет делать выгрузки в СУБД:
- Clickhouse
- MS SQL
- PostgreSQL
И иногда требуется выполнить какую то SQL-команду на пред- или пост-обработке
Мы добавили такую возможность.

Читаем в документации:
https://gramax.denvic.ru/extractor_docs/instrukcii-how-to-ili-kak-eto-sdelat/xxx-kak-v-obrabotchike-vypolnit-sql-instrukciyu
Современные компании работают с огромными объемами данных, что требует грамотного выбора подходящей базы данных для различных задач. Разделение на транзакционные и аналитические базы данных помогает решить задачи бизнеса более эффективно, опираясь на их особенности.

В новой статье в блоге рассмотрим ключевые различия между этими двумя типами баз данных, а также дадим рекомендации, как выбрать наиболее подходящее решение
⚠️ Для Коннектора 1С к Yandex Datalens - Есть неполадка в доступе к базам данных Clickhouse из Yandex Datalens.
Тикет в поддержку создали, всем кому можно в тг написали. Ждем, переживаем.
Please open Telegram to view this post
VIEW IN TELEGRAM
Уже завтра в Москве пройдет IX ежегодный форум, посвященный стратегическим аспектам организации работы с данными!

Ключевые темы Форума:
Оценка эффективности проектов управления данными
Как превратить сырые, разрозненные и разнообразные сведения в качественные данные?
Экосистема интеллектуального управления данными
Культура работы с данными
Управление основными данными (НСИ, MDM)
Интеграция данных
Отраслевая практики управления данными
Опыт импортозамещения

Наш директор Денис Смирнов выступит на конференции с докладом “Проблема ETL для экосистемы 1С: решение и опыт”, в котором поделится ключевыми моментами при работе с данными в 1С и способами их выгрузки, а также расскажет про наше ETL-решение “Экстрактор 1С в BI”.

В рамках Форума в этот же день будет действовать выставка, в которой мы также примем участие. Подходите к нам и мы подробно расскажем (и покажем!) про Экстрактор 1С!

26 сентября
📍Москва, Radisson Blu Leninsky Prospect Hotel

Дарим промокод на скидку 10%: DM24denw10

Регистрация
Экстрактор 1С — это идеальное Self-service решение для компаний, работающих с большими объемами данных в 1С. Он позволяет пользователям самостоятельно управлять процессом выгрузки данных из 1С без необходимости обращения к ИТ-отделу.

Благодаря интуитивно понятному интерфейсу, любой сотрудник, даже не обладая глубокими техническими знаниями, может настроить регулярную выгрузку данных и их интеграцию с BI-системами.

Преимущества:
Возможность настроить регулярные выгрузки данных по собственным параметрам;
Снижение нагрузки на программистов и ИТ-отдел;
Оперативный доступ к актуальным данным для аналитики.

В случае возникновения сложностей, доступна профессиональная техническая поддержка, готовая быстро решить любые вопросы!

Чтобы убедиться в эффективности нашего решения, мы предлагаем бесплатный 5-дневный доступ, чтобы вы могли протестировать все возможности Экстрактора 1С и оценить его пользу для вашего бизнеса.

Получить демо