Экстрактор и Аналитика данных. Из 1С в BI
287 subscribers
115 photos
4 videos
3 files
148 links
Пишем про нашу разработку “Экстрактор из 1С в BI ” и BI-услуги, помогаем разобраться в аналитике данных в 1С и BI, делимся кейсами и отзывами клиентов.

Экстрактор: https://clck.ru/3C24T6
Все вопросы/ответы: https://t.me/extractor1CBI
Download Telegram
Выпустили новый релиз 2.12.1.39 (2024-05-08)

Новая функциональность:
1. Добавлена функциональность переключения из "выгрузки по Объектам" в "Запрос 1С" (для тех кто "вырос" из работы с объектной моделью...)
2. Добавлен раздел "Настройки"
- вкл/выкл "Подписки"
- Подключение сервиса http-Redis
- вкл/выкл "Замеры производительности"
3. Реализована работа с сервисом "https-Redis" (это вариант выноса "Очереди изменений" в нешний сервис на базе СУБД Redis)
- за получением дистрибутива к http-Redis обращайтесь к вашему менеджеру
- технически, http-Redis должен позволить снять ограничение на работу с "Очередью изменений при очень большом количестве пользователей 1С
- а также позволяет работать как брокер сообщений между продовой базой 1С (регистрирует изменения) и репликой базы 1С (откуда делаются "тяжелые" выгрузки)
4. Добавлен отчет и система "Замеры производительности", "Отчет по замерам"
5. Автоподстановка параметров
6. Создание индекса партиции для MS SQL отдельно от таблицы (поддержка старых версий MS SQL Server)
7. Теперь есть возможность подключать "Внешние обработки" - как "Источники данных" для выгрузки (работа с "Источниками" приведена к единому типу, написаны общие методы)

Оптимизации и работы по ускорению работы Экстрактора 1С:
1. Кэширование подписок за один вызов.
2. Кэширование настроек строки проекта
3. Кэширование настроек источника и передача их в обработчик
4. При открытии форм списков проекта и подключения обновление запускается после проверки лицензии
5. Все дополнительные свойства добавляемые в подписках имеют префикс "Экс_" для исключения совпадений
6. Размер блока выгрузки ограничен 1000 записей
7. Разрешен вызов сервера для модуля Экс_МодульВыгрузки
8. Прочие улучшения и оптимизации

Документация:
1. Описан вариант вызова исполнения "Проектов" по COM-соединению
2. Доработана документация по многим разделам

Ошибки, исправления:
1. Добавлена форма выбора Подключения, т.к. в обычном приложении не позволял выбрать из формы списка
2. Регистрация очереди по изменениям для остатков делается с указанием даты-времени с округлением на начало периода
3. Поправлена ошибка не заполнения списка выбора параметра вычисляемого поля
4. Поправлена ошибка формирования партиции по произвольной подстроке
5. Поправлена ошибка если не выбрать функцию группировки стандартного периода
6. Поправлена ошибка формирования таблицы CLICKHOUSE с комментарием
7. Исправлено: В помощнике не возвращается назад в случае с плагином
8. Поправлена ошибка при изменении типа поля PG
9. Поправлена ошибка при выключении параметра объекта
10. Поправлена ошибка, при удалении выбранного поля, он не удаляется из таблицы
11. Обработка ошибки когда обработчик вернул не правильную структуру полей
12. Поправлена ошибка при проверке подписок, передача мутабельного значения запрещена
14. Поправлена ошибка при обновлении, т.к. при записи справочника Экс_Проекты тоже срабатывает подписка
15. Поправлена ошибка вызова обработчика инициализации строки проекта
16. Поправлена ошибка проверки существования таблицы для PG
17. Поправлена Поправлена ошибка создания индекса PG, MS
18. Поправлена ошибка заполнения параметра в исходящих данных
19. Поправлена ошибка сопоставления поля параметра при выборе существующей таблицы
20. Исправлен баг, возникающий на некоторых из платформ 1С: Неверное имя команды элемента формы. - SearchHistory
21. Прочие исправления и улучшения, включая исправления исправлений :)
Земледелие — сложный процесс, если подходить к нему со всей ответственностью. Какое из полей дает больший урожай, какие сорта оказались более плодовитыми, какая технология работает лучше? Чтобы получить ответы на эти и подобные вопросы, необходимо переработать огромные объемы информации.

Компания Терра Де Люкс выгружала огромные базы данных из 1С в Excel вручную и там же проводила аналитическую работу. Владелец предприятия решил с нашей помощью внедрить и настроить продукт для визуализации данных, а с помощью нашего ETL-инструмента оперативно выгружать данные из 1С для последующего анализа в BI-системе Yandex Datalens.

Подробности в нашем кейсе на сайте
Уважаемые клиенты и партнёры!

Сегодня, в День Победы, мы хотим поздравить вас с этим светлым праздником. Пусть в ваших домах всегда будет мир, а в сердцах — любовь и надежда. Желаем вам и вашим близким здоровья, благополучия и счастья.

С уважением, команда «Денвик»
На этапе масштабирования в компании растет количество баз 1С, а вместе с ним и объем информации, необходимой для стратегического планирования и операционного управления. Встает важный вопрос: как компании продолжать расти, не теряя эффективности и опираясь на актуальную аналитику? Хоть система 1С и предоставляет определенные инструменты для отчетности и аналитики, но они часто ограничены и не всегда достаточны для полного и глубокого анализа большого объема данных.

Встает необходимость найти решение, которое позволит анализировать данные из 1С в более удобном инструменте, например, в BI-системах. Но тут возникает другая проблема. Мало внедрить и настроить BI-систему, необходимо в нее еще загружать данные из 1С на постоянной основе. Способов много, от простой выгрузки текущего отчета в Excel до прямого доступа в базу данных, минуя 1С.

Мы предлагаем комплексный подход:
- внедрение BI-системы;
- настройка выгрузки любых данных из 1С по расписанию в BI-систему.

Принимайте решения на основе актуальных данных!
Один из частых запросов, с которым к нам обращаются, - это консолидация данных из разных баз 1С, используя наш продукт “Экстрактор данных из 1С”.

До работы с нами многие клиенты выгружают данные через Power Query в Excel. Но работа с данным инструментом занимает очень много времени, особенно если это касается выгрузки десятков журналов.

В новом кейсе рассказываем, как мы помогли компании «Беш-Арча», разрабатывающей угольный карьер «Бель-Альма» в Кыргызстане в партнерстве с ведущими горнодобывающими компаниями, автоматизировать выгрузку данных из баз 1С
Мы попросили IT-интегратор “Белый код” протестировать, как Экстрактор влияет на производительность системы 1С.

Почему именно их? “Белый код” - это ИТ-интегратор для торговых компаний и партнер фирмы 1С, имеющий статус «1С:Франчайзинг». Они специализируются на оптимизации работы 1С в высоконагруженной среде.

Тест показал, что Экстрактор 1С имеет минимальное влияние на производительность 1С в многопользовательской среде. В случае 95% операций прошли без изменения производительности, и только 5% показали ухудшение. Но это нормально, тк любой дополнительный функционал требует ресурсов.

Стоит отметить, что мы постоянно собираем обратную связь от наших клиентов и дорабатываем Экстрактор, чтобы он становился еще мощнее и удобнее!

Благодарим за проведенное тестирование!

Все подробности теста читайте на Хабре интегратора
24-25 мая наша компания примет участие в международной конференции по системному и бизнес анализу – Analyst Days, которая пройдет в Санкт-Петербурге.

На конференции выступит директор Денис Смирнов с докладом “Как запустить BI-аналитику, если у вас 1С?”.

Денис покажет, какие есть способы выгрузки информации из 1С для систем BI-аналитики, поделится своими личными хитростями и расскажет, как правильно поставить задачу, чтобы вы получили именно те данные, которые нужны.

Будет много полезных советов по каждому из методов, так что даже если вы недавно начали погружение в мир 1С, или уже давно в теме, вы точно найдете что-то новенькое для себя.

Приходите слушать, будет интересно!
Рассказываем пошагово, как подключить управляемую базу данных Clickhouse в облаке Яндекс для работы с 1С и Yandex Datalens.

Читать тут
image (398).png
22.7 KB
Как обычно, 1С не дает нам скучать 😄.
В "Расширениях" 1С нельзя выбрать определенные объекты для активации "Подписок на события"
В итоге,
а) сделали Расширение "Экстрактора 1С" - "без подписок на события"
б) сделали специальную доработку, которая генерирует специальное (дополнительное) расширение, в котором вы сами указываете те объекты конфигурации, которые должны регистрировать изменения для Экстрактора 1С

PS:
Данная модификация Экстрактора 1С будет востребована для тех клиентов, у кого много (500 и более) активных пользователей в базе 1С
Компания MascoGlass – это крупный производитель стеклопакетов, специализирующийся на создании комплексных решений для различных строительных проектов и архитектурных задач. Основанная в 2005 году, она стала одним из ведущих производителей стеклопакетов в России и странах СНГ.

Компания работает в 1С:ERP 2.5 в комплексе с другими базами 1С. До работы с Денвик MascoGlass использовала “ручную” выгрузку отчетов из 1C в Excel и далее обрабатывала их в аналитической программе Power BI. Однако, выгрузка отчетов в Excel - это трудоемкий ручной процесс, требующий значительного количества времени программиста 1С. Когда данные наконец выгружены, они зачастую теряют свою актуальность, а значит и ценность для дальнейшей аналитики. В компании MascoGlass решили, что такой подход к аналитике им не подходит, и обратились к нам.

Как мы внедрили Экстрактор 1С, читайте в нашем блоге!
30 мая - 1 июня наша компания примет участие в конференции «Анализ & Управление в ИТ-проектах» — первой практической конференция для аналитиков и руководителей проектов 1С, которая пройдет в Санкт-Петербурге.

1 июня в 11.40 на конференции выступит директор Денис Смирнов с докладом “Методы выгрузки данных из 1С для BI-аналитики”.

Денис расскажет про различные методы экспорта данных из 1С в BI-системы и покажет самый быстрый и практичный из них.

Приходите слушать, будет интересно!
Битрикс24 — это мощная CRM-система, которая служит надёжным хранилищем ценной информации организаций любого масштаба. Однако иногда возникает потребность в извлечении и обработке этих данных в различных форматах. Битрикс24 предлагает несколько способов выгрузки информации, каждый из которых имеет свои преимущества и недостатки. О каждом из них рассказали в нашей новой статье в блоге, а также про наше решение Коннектор Битрикс24, которое позволяет организациям интегрировать CRM-систему Битрикс24 с различными внешними решениями, системами и сервисами.

Коннектор обеспечивает быстрый и удобный перенос данных из Битрикс24 в ClickHouse, разработан специально для тех, кому необходимо регулярно получать актуальные отчёты и анализировать данные из Битрикс24.

Читайте тут
Новый релиз 2.12.2.9
Новое:
- Если в обработчике прописать магическое слово //t-sql, то обработчик будет выполнять команду Transact SQL
- реализовали возможность генерации специального расширения, в котором указывается только те объекты, к которым нужна "Подписка на события". Данное расширение устаналивается автоматически. Используется при работе Экстрактора 1С (без встроенных "подписок на события") (https://1c2bi.ru/docs/course/?COURSE_ID=6&LESSON_ID=198)
- Можно теперь запускать проект на исполнение по COM-соединению (https://1c2bi.ru/docs/course/?COURSE_ID=6&LESSON_ID=189&LESSON_PATH=92.166.189)

Исправления:
- Добавлена сборка без подписок основного расширения
- Поправлена ошибка "Ошибка потока" для старых конфигураций
- Сборка cf понижена до 8.2.16
- Ошибка использования функции ПолучитьРазделительПути() до версии 8.3.3
Контроль дебиторской задолженности играет ключевую роль для крупных компаний-производителей. Это связано с тем, что такие компании имеют большие объемы продаж и длительные сроки оплаты. Своевременное выявление просрочек платежей помогает предотвратить накопление больших сумм долга, которое привести к серьезным финансовым трудностям для компании.

В этом кейсе мы расскажем, как помогли внедрить Экстрактор и настроить специальные отчеты, помогающие отслеживать дебиторскую задолженность по суммам и срокам погашения в онлайн-режиме.

Читайте новый кейс на нашем сайте!
Всем привет.
Мы уже на Инфостарте.
100 % завтра (31 мая) с 12 до 15 часов будем стоять на стенде Инфостарт.
Предлагаем пообщаться, посмотреть Экстрактор 1С.
Ответим на вопросы, покажем, расскажем.

А вообще, пишите, звоните. Мы тут рядом, готовы встречаться на стенде
Выпустили небольшой фикс: - Новый релиз 2.12.2.12
Исправления ошибок:
1. Подписки срабатывают раньше обновления
2. Ошибка кодировки строк для mssql (при выгрузке блоками)

Уже в Личном кабинете