Экстрактор и Аналитика данных. Из 1С в BI
286 subscribers
115 photos
4 videos
3 files
148 links
Пишем про нашу разработку “Экстрактор из 1С в BI ” и BI-услуги, помогаем разобраться в аналитике данных в 1С и BI, делимся кейсами и отзывами клиентов.

Экстрактор: https://clck.ru/3C24T6
Все вопросы/ответы: https://t.me/extractor1CBI
Download Telegram
в Личный кабинет выложил еще один апдейт - 2.11.7.21
Исправление небольших (по большей части редко встречающихся) ошибок:

1. Ошибка при обновлении обработчика источника
2. Ошибка установки параметра по остаткам для ms и pg
3. Проверка права "Администрирование" для доступности Администрирования СУБД
4. Добавлено права просмотра формы длительных операций и комментарий к правам на очередь
5. Галочка "Внешнее соединение" на модуле Экс_ПредопределенныеОбработчики
6. ошибка сохранения произвольного когда регистрации изменений строки проекта
7. Ошибка экранирования уникального идентификатора
Релиз 2.11.8.18
Последний релиз на этой неделе, так сказать финальный штрих
Многие моменты уже включены были в предыдущих апдейтах, здесь же мы собрали воедино все фиксы и мелкие хотелки

Данный релиз должен стать завершающим в ветке 2.11
Уже в "Личном кабинете"

Что сделано:
1. Небольшие интерфейсные изменения
2. Реализована предподготовка для версии лицензирования MINI
3. Если работаем с Запросом 1С, то теперь добавленные поля автоматически добавляются в список выбора
4. Запретили выбор
- Части дат
- Вложенные табличные части для справочников и документов (если выбирается сам объект в запросе 1С, а не его табличная часть как источник)
5. Если пометили на удаление Проект, то удаляется и связанное с ним регламентное задание
6. Доработки по загрузке шаблонов проектов (выбор подключения и прочее)
7. Доработаны роли, в частности - базовые права на редактирование проектов
8. Доработан сброс кэша при изменении проекта (да-да, мы активно кешируем все, что только можно в исполнении проектов)
9. Постепенно расширяем методы работы системы лицензирования (чтобы в будущем прийти к системе автообновлений)
10 для MS SQL и PostgreSQL - поле партиции (__Partition) сделали предопределенным
11. Актуализировали описания обработчиков регистрации и инициализации очереди (с тем, чтобы разработчику было комфортнее писать свои "кастомные" обработчики очереди)


PS:
Продолжаем исследования по еще большему увеличению скорости работы нашего продукта, хотя и сейчас Экстрактор 1С достаточно комфортно функционирует на больших базах 1С (но мы целимся в "кровавый" Enterprise 😎):
- в многопользовательской конкурентной среде (в том числе и в "толстом клиенте" УПП)
- в ситуациях массовых потоковых загрузок из внешних сервисов (ТСД, MES и т.д.)

Сейчас пошли в исследование механик подписок на события и работы с очередями,
- в частности начали проверять гипотезу использования Redis - как системы внешней регистрации очереди изменений, чтобы избегать излишних блокировок на регистре сведений "Очереди" на количестве пользователей > 300.

С результатами вернемся чуть позднее 😀
Channel name was changed to «Экстрактор и Аналитика данных. Из 1С в BI»
Меняем наш телеграм-канал в лучшую сторону!

Теперь в нашем телеграм-канале мы не только будем делиться релизами новых фич нашего флагманского ETL-продукта Экстрактор, но также:

- помогать разбираться в аналитике данных в 1С и различных BI-системах;
- делиться своими кейсами и отзывами клиентов;
- рассказывать про наши услуги внедрения BI-аналитики;
- публиковать интересные новости BI-индустрии;
- и, конечно, иногда публиковать мемчики :)

Оставайтесь с нами, будет интересно!

#экстрактор #бизнесаналитика #BI #1C
Без сомнения, дашборды являются одним из основных инструментов в арсенале любого бизнес-аналитика. Это мощный инструмент визуализации данных, который позволяет быстро и наглядно отслеживать ключевые показатели проекта или бизнеса

В этой статье мы рассмотрим основные типы дашбордов, их преимущества и настройку, чтобы помочь вам создать эффективный инструмент для мониторинга и принятия решения.

Ссылка на статью
Экстрактор данных из 1С в BI - наш флагманский продукт! Готовое решение по автоматической и безопасной выгрузке любых данных из программы 1С для последующего их анализа в любых BI-системах.

Коннектор 1С к Яндекс Datalens по подписке. Получите доступ к своим базам данных 1С и создавайте удобные дашборды в Yandex Datalens за 10 минут.

Коннектор Битрикс24 для выгрузки данных в ClickHouse. С легкостью выгружайте данные из Битрикс24 в ClickHouse для построения отчетов на основе данных CRM.

Внедрение Yandex Datalens под ключ. Настроим выгрузку данных из ваших сервисов, развернем базу данных и настроим интеграцию источников, настроим отчеты в Yandex Datalens.

Внедрение аналитической платформы Loginom. Поможем внедрить и настроить low-code программу Loginom, использование которой позволяет обрабатывать большие объемы данных.
Немного о текущих исследованиях по дальнейшему ускорению Экстрактора 1С

На некоторых из своих внутренних тестах (где запущено много 1С, одновременно проводящих много документов), мы уперлись в недостаточную производительность системы 1С в части записи данных в Регистр сведений - "Очередь Изменений"

Пришла мысль, что "Очередь изменений" стоит попробовать вынести в некий внешний сервис!!!

Немного исследовали данный вопрос, и остановились на opensource-решении СУБД Redis (СУБД типа "Ключ-значение")
Однако, 1С не умеет работать с Redis, поэтому мы написали свою "обертку" на Redis -> HTTP-Redis (Специализированный сервис, который позволяет по http обращаться к СУБД Redis и позволит с ней работать как и в Windows- так и в Linux- средах)

Нужен был хоть какой-то подопытный кролик,и мы в который раз выбрали самих себя 😱
Сейчас комбинация 1С 8 ERP 2.5 + Экстрактор 1С + Redis работает у нас внутри компании на 100 активных пользователей
- Пока полет нормальный, деградации производительности нет, ну а прирост нам не удалось посчитать, все таки сервера у нас тормозные (сапожники без сапог)

PS:
Если есть желание присоединиться к тестам, пишите в комментариях к данному посту
В базах 1С хранятся большие объемы данных, которые зачастую нужны для дальнейшего использования в бизнес-задачах.

Как быстро и без потерь достать данные из 1С - рассказываем в нашей статье!
Всегда интересно - хорошо работает наше решение - Экстрактор 1С или нет?
Я обратился к компании "Белый код", чтобы те сделали свои независимые замеры производительности работы с Экстрактором 1С

"Белый код" специализируются на ускорении и оптимизации работы больших высоконагруженных баз 1С

Они развернули "ТестЦентр" у себя на демо-стенде на достаточно большой базе 1С Управление торговли 11.5 и прогнали необходимые тесты.
(сразу оговорюсь, что мы не делали никаких оптимизаций, не расшивали потенциально узкие места тем же Redis и и т.д. Т.е. Экстрактор 1С был совершенно стандартный, версии 2.12)

Основное на что акцентировали внимание - это - будет ли замедляться работа пользователей 1С, при включенных подписках на регистрацию изменений?

Результат очень неплохой:
- Без установленного Экстрактора 1С - APDEX = 0.926
- С работающим Экстрактором 1С - APDEX = 0.923

ЗЫ:
Были настроены следующие "Проекты" выгрузки Экстрактором 1С (везде ставим партиция = ДЕНЬ, с включенной регистрацией изменений):
- РН ЗаказКлиента
- РН Заказ поставщику
- РН Выручка и себестоимость
- РН Прочие Доходы
- РН Прочие Расходы
- РН РасчетыСКлиентами
- РН ДвижениеДенежныхСредства
- Справочник Номенклатуры
- Справочник Контрагенты
- Справочник Договоры контрагентов
Мы тут поняли, что даже ни разу не рассказали про преимущества нашего главного продукта “Экстрактор данных из 1С в BI”. Исправляемся!

Экстрактор - инструмент для быстрой и безопасной выгрузки данных из программы 1С во внешнюю базу данных.

Совместимость с любой конфигурацией 1С. Выгрузка данных из любой конфигурации, разработанной на базе платформы 8.2 и 8.3.
Высокая скорость выгрузки данных. Режим многопоточности: скорость выгрузки 1,3 млн. записей в час при выгрузке данных в 12 потоков.
Автоматическая выгрузка изменений. Инструмент отслеживает изменения, вносимые в базу 1С, и автоматически выгружает их во внешнее хранилище. При этом выгружается не вся база, а только обновленные данные.
Безопасность. Мы не видим данные, которые вы выгружаете из 1С, а сама программа остается закрыта от внешних обращений.
Помощь с настройкой. Выдаем документацию с примерами, помогаем с настройкой и запуском первого проекта.
Бесплатная поддержка 1 год. Предоставляем 1 год бесплатной поддержки и доступ к обновлениям продукта.
Заставьте данные говорить. Как сделать бизнес-дашборд в Excel. Руководство по визуализации данных, Алексей Колоколов. В книге последовательно разбирается процесс составления отчета, начиная с подготовки данных и заканчивая оформлением в фирменном стиле.

Разработка бизнес-аналитики в Microsoft SQL Server 2005, Брайан Ларсон. Автор на практических примерах объясняет, как использовать службы интеграции, средства OLAP, интеллектуальный анализ данных и другие средства Microsoft SQL Server 2005 и как с помощью этих функций удовлетворить потребности бизнеса.

Анализ и визуализация данных в Yandex Datalens. Полное руководство: от новичка до эксперта, Александр Гинько. Книга подробно рассказывает о Yandex DataLens — одном из мощнейших средств анализа и визуализации данных.

SQL для простых смертных, Грабер Мартин. Полное введение в структурированный язык запросов, написанное специально для начинающих. Благодаря этой книге вы научитесь работать с SQL легко и свободно, применяя простые запросы и сложные операции.
Быстро выгружать любые отчеты из 1С с помощью AI прямо в ваш мессенджер – это вообще реально?

21 мая в 12.00 вебинар “Быстрые отчеты из 1С с помощью AI: интеграция Easy Report BI и Экстрактора данных из 1С”.

Расскажем об интеграции двух инструментов: Easy Report (BI-решения с AI) и Экстрактора. Их синергия позволяет получать данные из 1С в удобном для анализа виде буквально за несколько секунд, запросив отчет на обычном языке.

В программе:

✔️Easy Report: российский BI с пользовательским интерфейсом
в виде чат-бота.
✔️ Когда удобно получать данные по запросу на естественном языке: кейсы крупнейших российских компаний.
✔️ Live Демо: как получать данные из 1С в Telegram или любой другой мессенджер.
✔️ Выгрузка данных из 1С в BI-системы: какие есть способы и почему не все так просто?
✔️ Продукт «Экстрактор из 1С в BI »: новое универсальное решение, которое поможет быстро и без программиста автоматически выгружать данные в любую BI-систему.

Бонусы для всех участников вебинара!

Регистрация тут
Выпустили новый релиз 2.12.1.39 (2024-05-08)

Новая функциональность:
1. Добавлена функциональность переключения из "выгрузки по Объектам" в "Запрос 1С" (для тех кто "вырос" из работы с объектной моделью...)
2. Добавлен раздел "Настройки"
- вкл/выкл "Подписки"
- Подключение сервиса http-Redis
- вкл/выкл "Замеры производительности"
3. Реализована работа с сервисом "https-Redis" (это вариант выноса "Очереди изменений" в нешний сервис на базе СУБД Redis)
- за получением дистрибутива к http-Redis обращайтесь к вашему менеджеру
- технически, http-Redis должен позволить снять ограничение на работу с "Очередью изменений при очень большом количестве пользователей 1С
- а также позволяет работать как брокер сообщений между продовой базой 1С (регистрирует изменения) и репликой базы 1С (откуда делаются "тяжелые" выгрузки)
4. Добавлен отчет и система "Замеры производительности", "Отчет по замерам"
5. Автоподстановка параметров
6. Создание индекса партиции для MS SQL отдельно от таблицы (поддержка старых версий MS SQL Server)
7. Теперь есть возможность подключать "Внешние обработки" - как "Источники данных" для выгрузки (работа с "Источниками" приведена к единому типу, написаны общие методы)

Оптимизации и работы по ускорению работы Экстрактора 1С:
1. Кэширование подписок за один вызов.
2. Кэширование настроек строки проекта
3. Кэширование настроек источника и передача их в обработчик
4. При открытии форм списков проекта и подключения обновление запускается после проверки лицензии
5. Все дополнительные свойства добавляемые в подписках имеют префикс "Экс_" для исключения совпадений
6. Размер блока выгрузки ограничен 1000 записей
7. Разрешен вызов сервера для модуля Экс_МодульВыгрузки
8. Прочие улучшения и оптимизации

Документация:
1. Описан вариант вызова исполнения "Проектов" по COM-соединению
2. Доработана документация по многим разделам

Ошибки, исправления:
1. Добавлена форма выбора Подключения, т.к. в обычном приложении не позволял выбрать из формы списка
2. Регистрация очереди по изменениям для остатков делается с указанием даты-времени с округлением на начало периода
3. Поправлена ошибка не заполнения списка выбора параметра вычисляемого поля
4. Поправлена ошибка формирования партиции по произвольной подстроке
5. Поправлена ошибка если не выбрать функцию группировки стандартного периода
6. Поправлена ошибка формирования таблицы CLICKHOUSE с комментарием
7. Исправлено: В помощнике не возвращается назад в случае с плагином
8. Поправлена ошибка при изменении типа поля PG
9. Поправлена ошибка при выключении параметра объекта
10. Поправлена ошибка, при удалении выбранного поля, он не удаляется из таблицы
11. Обработка ошибки когда обработчик вернул не правильную структуру полей
12. Поправлена ошибка при проверке подписок, передача мутабельного значения запрещена
14. Поправлена ошибка при обновлении, т.к. при записи справочника Экс_Проекты тоже срабатывает подписка
15. Поправлена ошибка вызова обработчика инициализации строки проекта
16. Поправлена ошибка проверки существования таблицы для PG
17. Поправлена Поправлена ошибка создания индекса PG, MS
18. Поправлена ошибка заполнения параметра в исходящих данных
19. Поправлена ошибка сопоставления поля параметра при выборе существующей таблицы
20. Исправлен баг, возникающий на некоторых из платформ 1С: Неверное имя команды элемента формы. - SearchHistory
21. Прочие исправления и улучшения, включая исправления исправлений :)
Земледелие — сложный процесс, если подходить к нему со всей ответственностью. Какое из полей дает больший урожай, какие сорта оказались более плодовитыми, какая технология работает лучше? Чтобы получить ответы на эти и подобные вопросы, необходимо переработать огромные объемы информации.

Компания Терра Де Люкс выгружала огромные базы данных из 1С в Excel вручную и там же проводила аналитическую работу. Владелец предприятия решил с нашей помощью внедрить и настроить продукт для визуализации данных, а с помощью нашего ETL-инструмента оперативно выгружать данные из 1С для последующего анализа в BI-системе Yandex Datalens.

Подробности в нашем кейсе на сайте
Уважаемые клиенты и партнёры!

Сегодня, в День Победы, мы хотим поздравить вас с этим светлым праздником. Пусть в ваших домах всегда будет мир, а в сердцах — любовь и надежда. Желаем вам и вашим близким здоровья, благополучия и счастья.

С уважением, команда «Денвик»
На этапе масштабирования в компании растет количество баз 1С, а вместе с ним и объем информации, необходимой для стратегического планирования и операционного управления. Встает важный вопрос: как компании продолжать расти, не теряя эффективности и опираясь на актуальную аналитику? Хоть система 1С и предоставляет определенные инструменты для отчетности и аналитики, но они часто ограничены и не всегда достаточны для полного и глубокого анализа большого объема данных.

Встает необходимость найти решение, которое позволит анализировать данные из 1С в более удобном инструменте, например, в BI-системах. Но тут возникает другая проблема. Мало внедрить и настроить BI-систему, необходимо в нее еще загружать данные из 1С на постоянной основе. Способов много, от простой выгрузки текущего отчета в Excel до прямого доступа в базу данных, минуя 1С.

Мы предлагаем комплексный подход:
- внедрение BI-системы;
- настройка выгрузки любых данных из 1С по расписанию в BI-систему.

Принимайте решения на основе актуальных данных!
Один из частых запросов, с которым к нам обращаются, - это консолидация данных из разных баз 1С, используя наш продукт “Экстрактор данных из 1С”.

До работы с нами многие клиенты выгружают данные через Power Query в Excel. Но работа с данным инструментом занимает очень много времени, особенно если это касается выгрузки десятков журналов.

В новом кейсе рассказываем, как мы помогли компании «Беш-Арча», разрабатывающей угольный карьер «Бель-Альма» в Кыргызстане в партнерстве с ведущими горнодобывающими компаниями, автоматизировать выгрузку данных из баз 1С
Мы попросили IT-интегратор “Белый код” протестировать, как Экстрактор влияет на производительность системы 1С.

Почему именно их? “Белый код” - это ИТ-интегратор для торговых компаний и партнер фирмы 1С, имеющий статус «1С:Франчайзинг». Они специализируются на оптимизации работы 1С в высоконагруженной среде.

Тест показал, что Экстрактор 1С имеет минимальное влияние на производительность 1С в многопользовательской среде. В случае 95% операций прошли без изменения производительности, и только 5% показали ухудшение. Но это нормально, тк любой дополнительный функционал требует ресурсов.

Стоит отметить, что мы постоянно собираем обратную связь от наших клиентов и дорабатываем Экстрактор, чтобы он становился еще мощнее и удобнее!

Благодарим за проведенное тестирование!

Все подробности теста читайте на Хабре интегратора