💼 Запись воркшопа: Как извлекать данные из 1С

Такая любимая, но такая редкая рубрика краштесты-обзоры систем. На этот раз к нам приходили ребята из "Денвик". У них есть свой коннектор (экстрактор) для выгрузок из 1C в BI системы.

Обсудили какие есть методики выгрузки на рынке ну и конечно протестили экстрактор на примерах выгрузки из 1С в Excel и Power BI. Выгрузили и включили автообновление.

Ребята ответили на ваши горячие вопросы:
• В чем преимущества перед универсальным отчетом?
• Какие конфигурации выгружаются?
• С какими источниками работает экстрактор?

Всё это и не только вы уже можете посмотреть в записи.

Смотреть вебинар


// P.S. Если скажете, что вы из Клуба Анонимных Аналитиков, то ребята сделают вам скидку -20% на решение экстрактора

2.11.4.58 ДАТА РЕЛИЗА 07.03.24

Исправление ошибок:
1. Ошибка при открытии конструктора для лицензии MINI
2. Мелкие правки

Доработки:
1. Сборка CFE с типовыми функциями СтрСоединить, СтрРазделить
2. Поддержка мониторов с разрешением 1280х720
3. Добавлена поддержка для myBI
4. Добавлена поддержка лицензии MINI

Ура

🎉Долгожданная чарт-чарт фильтрация!

Теперь обычный чарт можно использовать в качестве фильтра для других объектов дашборда!

⚙️ Включается в настройках виджета для каждого чарта.
⚙️ Типы и наличие связей между виджетами настраиваются в диалоге связей.
⚙️ Механика фильтрации аналогична обычному селектору.
⚙️ Передаются все значения измерений для выбранного элемента чарта.
⚙️ Зажав кнопку CMD/Ctrl можно сделать мультиселект на чарте.

🔥Попробовать уже сейчас можно на демодашборде (на вкладе "Типы чартов")

2.11.4.59 ДАТА РЕЛИЗА 18.03.24

Исправление ошибок:
1. Исправлена ошибка доступа к модулю Экс_GZIP при работе с Clickhouse (возникала при работе в "толстом клиенте" 1С, для тех кто работает в "тонком" клиенте, обновление необязательно)

PS:
Для версий ниже 8.3.16 и 8.3.13 запросите в чате отдельные сборки Расширения

Давно не писали, но мы не стоим на месте :)

В марте, немного отвлеклись на:
- рефакторинг кода
- написали программный интерфейся для подключения новых источников данных (в частности, в новом релизе будет плагин с загрузкой из CSV)
- сделали первый подход к расширению "ролевой" модели
- подготовили http-интерфейс для работы с Redis (внешняя очередь для highload-систем 1С)
- и многое другое

Думаю через неделю выпустим уже следующий релиз

Релиз 2.11.7.17

Новое в релизе:
- Работа с виртуальными таблицами Регистров накопления "Остатки" и Регистров сведений "Срез первых", "Срез последних":
- При выборе в конструкторе виртуальной таблицы Регистров накопления "Остатки" добавлено поле ДатаОстатка
- При выборе в конструкторе виртуальных таблиц Регистров сведений "Срез первых", "Срез последних" добавлено поле ДатаСреза. Партиционирование происходит по этому полю.
- Реализован Обработчик регистрации изменений регистра по периоду по остаткам (от дате изменения и до текущего периода).
- Реализована выгрузка перечислений.
- Разработан механизм перехода между версиями при обновлении Экстрактора. (переработан механизм хранения служебных данных и переработана структура проектов)
- Разработка механизмов плагинов для Экстрактора (теперь код отрефакторен так, чтобы легко можно было добавлять новые источники данных)
- По новому механизму "плагинов" реализован плагин для импорта файла CSV.
- Сделано довольно много оптимизаций.

Важное!
- Реализовали "ролевую модель". Описание тут: https://1c2bi.ru/docs/course/?COURSE_ID=6&LESSON_ID=180


Исправление ошибок:
- Ошибка доступа к модулю Экс_GZIP в толстом клиенте
- Для новых проектов, исправлена партиция по-умолчанию с Месяц на День
- Исправлено сохранение произвольного кода обработчика инициализации строки.
- Поправлены ошибки, которые мы выявляли весь март месяц

Релизы расширения 1С для платформы 1С ниже 8.3.16 требуйте в чате или у менеджера нашего отдела продаж

В Личном кабинете - апдейт - 2.11.7.18
И мы переходим к разработке следующего релиза

в Личный кабинет выложил еще один апдейт - 2.11.7.21
Исправление небольших (по большей части редко встречающихся) ошибок:

1. Ошибка при обновлении обработчика источника
2. Ошибка установки параметра по остаткам для ms и pg
3. Проверка права "Администрирование" для доступности Администрирования СУБД
4. Добавлено права просмотра формы длительных операций и комментарий к правам на очередь
5. Галочка "Внешнее соединение" на модуле Экс_ПредопределенныеОбработчики
6. ошибка сохранения произвольного когда регистрации изменений строки проекта
7. Ошибка экранирования уникального идентификатора

Релиз 2.11.8.18
Последний релиз на этой неделе, так сказать финальный штрих
Многие моменты уже включены были в предыдущих апдейтах, здесь же мы собрали воедино все фиксы и мелкие хотелки

Данный релиз должен стать завершающим в ветке 2.11
Уже в "Личном кабинете"

Что сделано:
1. Небольшие интерфейсные изменения
2. Реализована предподготовка для версии лицензирования MINI
3. Если работаем с Запросом 1С, то теперь добавленные поля автоматически добавляются в список выбора
4. Запретили выбор
- Части дат
- Вложенные табличные части для справочников и документов (если выбирается сам объект в запросе 1С, а не его табличная часть как источник)
5. Если пометили на удаление Проект, то удаляется и связанное с ним регламентное задание
6. Доработки по загрузке шаблонов проектов (выбор подключения и прочее)
7. Доработаны роли, в частности - базовые права на редактирование проектов
8. Доработан сброс кэша при изменении проекта (да-да, мы активно кешируем все, что только можно в исполнении проектов)
9. Постепенно расширяем методы работы системы лицензирования (чтобы в будущем прийти к системе автообновлений)
10 для MS SQL и PostgreSQL - поле партиции (__Partition) сделали предопределенным
11. Актуализировали описания обработчиков регистрации и инициализации очереди (с тем, чтобы разработчику было комфортнее писать свои "кастомные" обработчики очереди)


PS:
Продолжаем исследования по еще большему увеличению скорости работы нашего продукта, хотя и сейчас Экстрактор 1С достаточно комфортно функционирует на больших базах 1С (но мы целимся в "кровавый" Enterprise 😎):
- в многопользовательской конкурентной среде (в том числе и в "толстом клиенте" УПП)
- в ситуациях массовых потоковых загрузок из внешних сервисов (ТСД, MES и т.д.)

Сейчас пошли в исследование механик подписок на события и работы с очередями,
- в частности начали проверять гипотезу использования Redis - как системы внешней регистрации очереди изменений, чтобы избегать излишних блокировок на регистре сведений "Очереди" на количестве пользователей > 300.

С результатами вернемся чуть позднее 😀

Меняем наш телеграм-канал в лучшую сторону!

Теперь в нашем телеграм-канале мы не только будем делиться релизами новых фич нашего флагманского ETL-продукта Экстрактор, но также:

- помогать разбираться в аналитике данных в 1С и различных BI-системах;
- делиться своими кейсами и отзывами клиентов;
- рассказывать про наши услуги внедрения BI-аналитики;
- публиковать интересные новости BI-индустрии;
- и, конечно, иногда публиковать мемчики :)

Оставайтесь с нами, будет интересно!

#экстрактор #бизнесаналитика #BI #1C

Без сомнения, дашборды являются одним из основных инструментов в арсенале любого бизнес-аналитика. Это мощный инструмент визуализации данных, который позволяет быстро и наглядно отслеживать ключевые показатели проекта или бизнеса

В этой статье мы рассмотрим основные типы дашбордов, их преимущества и настройку, чтобы помочь вам создать эффективный инструмент для мониторинга и принятия решения.

Ссылка на статью

Экстрактор данных из 1С в BI - наш флагманский продукт! Готовое решение по автоматической и безопасной выгрузке любых данных из программы 1С для последующего их анализа в любых BI-системах.

Коннектор 1С к Яндекс Datalens по подписке. Получите доступ к своим базам данных 1С и создавайте удобные дашборды в Yandex Datalens за 10 минут.

Коннектор Битрикс24 для выгрузки данных в ClickHouse. С легкостью выгружайте данные из Битрикс24 в ClickHouse для построения отчетов на основе данных CRM.

Внедрение Yandex Datalens под ключ. Настроим выгрузку данных из ваших сервисов, развернем базу данных и настроим интеграцию источников, настроим отчеты в Yandex Datalens.

Внедрение аналитической платформы Loginom. Поможем внедрить и настроить low-code программу Loginom, использование которой позволяет обрабатывать большие объемы данных.

Немного о текущих исследованиях по дальнейшему ускорению Экстрактора 1С

На некоторых из своих внутренних тестах (где запущено много 1С, одновременно проводящих много документов), мы уперлись в недостаточную производительность системы 1С в части записи данных в Регистр сведений - "Очередь Изменений"

Пришла мысль, что "Очередь изменений" стоит попробовать вынести в некий внешний сервис!!!

Немного исследовали данный вопрос, и остановились на opensource-решении СУБД Redis (СУБД типа "Ключ-значение")
Однако, 1С не умеет работать с Redis, поэтому мы написали свою "обертку" на Redis -> HTTP-Redis (Специализированный сервис, который позволяет по http обращаться к СУБД Redis и позволит с ней работать как и в Windows- так и в Linux- средах)

Нужен был хоть какой-то подопытный кролик,и мы в который раз выбрали самих себя 😱
Сейчас комбинация 1С 8 ERP 2.5 + Экстрактор 1С + Redis работает у нас внутри компании на 100 активных пользователей
- Пока полет нормальный, деградации производительности нет, ну а прирост нам не удалось посчитать, все таки сервера у нас тормозные (сапожники без сапог)

PS:
Если есть желание присоединиться к тестам, пишите в комментариях к данному посту

Как-то так😁

В базах 1С хранятся большие объемы данных, которые зачастую нужны для дальнейшего использования в бизнес-задачах.

Как быстро и без потерь достать данные из 1С - рассказываем в нашей статье!

Всегда интересно - хорошо работает наше решение - Экстрактор 1С или нет?
Я обратился к компании "Белый код", чтобы те сделали свои независимые замеры производительности работы с Экстрактором 1С

"Белый код" специализируются на ускорении и оптимизации работы больших высоконагруженных баз 1С

Они развернули "ТестЦентр" у себя на демо-стенде на достаточно большой базе 1С Управление торговли 11.5 и прогнали необходимые тесты.
(сразу оговорюсь, что мы не делали никаких оптимизаций, не расшивали потенциально узкие места тем же Redis и и т.д. Т.е. Экстрактор 1С был совершенно стандартный, версии 2.12)

Основное на что акцентировали внимание - это - будет ли замедляться работа пользователей 1С, при включенных подписках на регистрацию изменений?

Результат очень неплохой:
- Без установленного Экстрактора 1С - APDEX = 0.926
- С работающим Экстрактором 1С - APDEX = 0.923

ЗЫ:
Были настроены следующие "Проекты" выгрузки Экстрактором 1С (везде ставим партиция = ДЕНЬ, с включенной регистрацией изменений):
- РН ЗаказКлиента
- РН Заказ поставщику
- РН Выручка и себестоимость
- РН Прочие Доходы
- РН Прочие Расходы
- РН РасчетыСКлиентами
- РН ДвижениеДенежныхСредства
- Справочник Номенклатуры
- Справочник Контрагенты
- Справочник Договоры контрагентов

Мы тут поняли, что даже ни разу не рассказали про преимущества нашего главного продукта “Экстрактор данных из 1С в BI”. Исправляемся!

Экстрактор - инструмент для быстрой и безопасной выгрузки данных из программы 1С во внешнюю базу данных.

Совместимость с любой конфигурацией 1С. Выгрузка данных из любой конфигурации, разработанной на базе платформы 8.2 и 8.3.
Высокая скорость выгрузки данных. Режим многопоточности: скорость выгрузки 1,3 млн. записей в час при выгрузке данных в 12 потоков.
Автоматическая выгрузка изменений. Инструмент отслеживает изменения, вносимые в базу 1С, и автоматически выгружает их во внешнее хранилище. При этом выгружается не вся база, а только обновленные данные.
Безопасность. Мы не видим данные, которые вы выгружаете из 1С, а сама программа остается закрыта от внешних обращений.
Помощь с настройкой. Выдаем документацию с примерами, помогаем с настройкой и запуском первого проекта.
Бесплатная поддержка 1 год. Предоставляем 1 год бесплатной поддержки и доступ к обновлениям продукта.

Заставьте данные говорить. Как сделать бизнес-дашборд в Excel. Руководство по визуализации данных, Алексей Колоколов. В книге последовательно разбирается процесс составления отчета, начиная с подготовки данных и заканчивая оформлением в фирменном стиле.

Разработка бизнес-аналитики в Microsoft SQL Server 2005, Брайан Ларсон. Автор на практических примерах объясняет, как использовать службы интеграции, средства OLAP, интеллектуальный анализ данных и другие средства Microsoft SQL Server 2005 и как с помощью этих функций удовлетворить потребности бизнеса.

Анализ и визуализация данных в Yandex Datalens. Полное руководство: от новичка до эксперта, Александр Гинько. Книга подробно рассказывает о Yandex DataLens — одном из мощнейших средств анализа и визуализации данных.

SQL для простых смертных, Грабер Мартин. Полное введение в структурированный язык запросов, написанное специально для начинающих. Благодаря этой книге вы научитесь работать с SQL легко и свободно, применяя простые запросы и сложные операции.

Быстро выгружать любые отчеты из 1С с помощью AI прямо в ваш мессенджер – это вообще реально?

21 мая в 12.00 вебинар “Быстрые отчеты из 1С с помощью AI: интеграция Easy Report BI и Экстрактора данных из 1С”.

Расскажем об интеграции двух инструментов: Easy Report (BI-решения с AI) и Экстрактора. Их синергия позволяет получать данные из 1С в удобном для анализа виде буквально за несколько секунд, запросив отчет на обычном языке.

В программе:

✔️Easy Report: российский BI с пользовательским интерфейсом
в виде чат-бота.
✔️ Когда удобно получать данные по запросу на естественном языке: кейсы крупнейших российских компаний.
✔️ Live Демо: как получать данные из 1С в Telegram или любой другой мессенджер.
✔️ Выгрузка данных из 1С в BI-системы: какие есть способы и почему не все так просто?
✔️ Продукт «Экстрактор из 1С в BI »: новое универсальное решение, которое поможет быстро и без программиста автоматически выгружать данные в любую BI-систему.

Бонусы для всех участников вебинара!

Регистрация тут