Экстрактор и Аналитика данных. Из 1С в BI
287 subscribers
115 photos
4 videos
3 files
148 links
Пишем про нашу разработку “Экстрактор из 1С в BI ” и BI-услуги, помогаем разобраться в аналитике данных в 1С и BI, делимся кейсами и отзывами клиентов.

Экстрактор: https://clck.ru/3C24T6
Все вопросы/ответы: https://t.me/extractor1CBI
Download Telegram
Screenshot_143.png
40.5 KB
Релиз 2.11.4.45

Исправления ошибок:
1) Ошибка при десериализации пробельных символов (\t, \n и т.п.) из XML. В частности, если в параметр попадал такой символ, то выборка была не корректная
2) Доработано блочное удаление в PG
3) Ошибка при создании схемы в MSSQL
4) Ошибка экранирования при поиске партиции в ClickHouse
5) Ошибка срабатывания обработчика инициализации для выключенной строки проекта
6) Для MSSQL и PG при выгрузке блоками экранируется только апостроф (')
7) Для ClickHouse при выгрузке блоками экранируется апостроф (') и обратный слеш (\)
8) Поправлена ошибка форматирования поля с типом integer для PG

Изменения:
1) В администрирование подключения добавлена команда очистки таблицы
2) Параметр по умолчанию для оборотных регистров и документов изменен на "День"

Важное изменение:
1) Опциональное приведение партиции к нижнему регистру (для новых подключений, эта опция будет работать "по умолчанию", для ранее заведенных подключений, необходимо установить флаг в настройке подключения
2) Приведение строковых параметров в предопределенных обработчиках к нижнему регистру

Поясним
В Сlickhouse и PostgreSQL, в зависимости от настройки СУБД, поиск может быть как регистро-зависимым так и регистро-НЕзависимым (особенно это касается PosgreSQL, используемого совместно с базами 1С)
В результате, партиция "А" и "а" могут быть как разными, так и одинаковыми.
Чтобы избежать таких коллизий, в 2.11.4.45 есть опция в настройка "Подключения", включив которую поиск и именование партиций всегда будут в "нижнем регистре"
Если не знаете какой вариант выбрать, просто включите данную опцию
Поздравляю с наступающим праздником 8 марта!

Ну и небольшое обновление Экстрактора 1С уже в Личном кабинете:
Изменения:
1. Добавлен выбор табличных частей ПВХ при выборе объект

Исправления ошибок:
1. Удаление конечных пробелов в строке параматра и партиции
2. Ошибка установки параметра из обработчика (ТекущаяДата())
3. Ошибка удаления строк при пересоздании таблицы
4. Ошибка сопоставления новой строки с существующим полем
5. Ошибка вызова обработчика источника
6. Ошибка очистки типов параметров при сохранении обработчика
7. Ошибка проверки первичного ключа ClickHouse
8. Ошибка запуска обработчика инициализации для строки в которой нет параметров
Экстрактор и Аналитика данных. Из 1С в BI
Поздравляю с наступающим праздником 8 марта! Ну и небольшое обновление Экстрактора 1С уже в Личном кабинете: Изменения: 1. Добавлен выбор табличных частей ПВХ при выборе объект Исправления ошибок: 1. Удаление конечных пробелов в строке параматра и партиции…
Дополнили релиз 2.11.4.54:

Мелкие улучшения:
1. Ошибка загрузки набора данных из шаблона
2. Вывод соответствия полей в список

Данный релиз считаем стабильным 😀.
Просьба обновиться до 2.11.4.54 (если не сделали это ранее)

ЗЫ:
Ну а мы ушли в исследование возможности делать выгрузки из "типовых отчетов" 1С (пока все местами грустно, но мы не теряем надежду)
Присоединяйтесь
💼Как извлекать данные из 1С

Устраиваем воркшоп, где будем разгадывать загадки 1С вместе со спецами из "Денвик”)))

Ребята разработали коннектор (экстрактор) 1С с Excel, Yandex Datalens, Power BI, Visiology, Loginom и другими системами.

Посмотрим какие вообще есть методы получения данных из 1С, в чем основная боль (если кто-то не знает 😉). Узнаем как работает коннектор Денвика на практическом примере.

Вообщем глянем еще один продукт на рынке, так что настраивайте свои зоркие глаза не забудьте приготовить вопросы.

📌Когда: 14 марта, четверг 18:00 мск

Ссылку на zoom отправим завтра за 30 минут до старта
🔺Как извлекать данные из 1С

Начало через 30 минут. Ждём всех!

👉Ссылка для подключения: нажать
Провели вебинар вместе с командой Алексея Колоколова из Института бизнес аналитики
💼 Запись воркшопа: Как извлекать данные из 1С

Такая любимая, но такая редкая рубрика краштесты-обзоры систем. На этот раз к нам приходили ребята из "Денвик". У них есть свой коннектор (экстрактор) для выгрузок из 1C в BI системы.

Обсудили какие есть методики выгрузки на рынке ну и конечно протестили экстрактор на примерах выгрузки из 1С в Excel и Power BI. Выгрузили и включили автообновление.

Ребята ответили на ваши горячие вопросы:
• В чем преимущества перед универсальным отчетом?
• Какие конфигурации выгружаются?
• С какими источниками работает экстрактор?

Всё это и не только вы уже можете посмотреть в записи.

Смотреть вебинар


// P.S. Если скажете, что вы из Клуба Анонимных Аналитиков, то ребята сделают вам скидку -20% на решение экстрактора
2.11.4.58 ДАТА РЕЛИЗА 07.03.24

Исправление ошибок:
1. Ошибка при открытии конструктора для лицензии MINI
2. Мелкие правки

Доработки:
1. Сборка CFE с типовыми функциями СтрСоединить, СтрРазделить
2. Поддержка мониторов с разрешением 1280х720
3. Добавлена поддержка для myBI
4. Добавлена поддержка лицензии MINI
Forwarded from Yandex DataLens
Media is too big
VIEW IN TELEGRAM
🎉Долгожданная чарт-чарт фильтрация!

Теперь обычный чарт можно использовать в качестве фильтра для других объектов дашборда!

⚙️ Включается в настройках виджета для каждого чарта.
⚙️ Типы и наличие связей между виджетами настраиваются в диалоге связей.
⚙️ Механика фильтрации аналогична обычному селектору.
⚙️ Передаются все значения измерений для выбранного элемента чарта.
⚙️ Зажав кнопку CMD/Ctrl можно сделать мультиселект на чарте.

🔥Попробовать уже сейчас можно на демодашборде (на вкладе "Типы чартов")
2.11.4.59 ДАТА РЕЛИЗА 18.03.24

Исправление ошибок:
1. Исправлена ошибка доступа к модулю Экс_GZIP при работе с Clickhouse (возникала при работе в "толстом клиенте" 1С, для тех кто работает в "тонком" клиенте, обновление необязательно)

PS:
Для версий ниже 8.3.16 и 8.3.13 запросите в чате отдельные сборки Расширения
Давно не писали, но мы не стоим на месте :)

В марте, немного отвлеклись на:
- рефакторинг кода
- написали программный интерфейся для подключения новых источников данных (в частности, в новом релизе будет плагин с загрузкой из CSV)
- сделали первый подход к расширению "ролевой" модели
- подготовили http-интерфейс для работы с Redis (внешняя очередь для highload-систем 1С)
- и многое другое

Думаю через неделю выпустим уже следующий релиз
Релиз 2.11.7.17

Новое в релизе:
- Работа с виртуальными таблицами Регистров накопления "Остатки" и Регистров сведений "Срез первых", "Срез последних":
- При выборе в конструкторе виртуальной таблицы Регистров накопления "Остатки" добавлено поле ДатаОстатка
- При выборе в конструкторе виртуальных таблиц Регистров сведений "Срез первых", "Срез последних" добавлено поле ДатаСреза. Партиционирование происходит по этому полю.
- Реализован Обработчик регистрации изменений регистра по периоду по остаткам (от дате изменения и до текущего периода).
- Реализована выгрузка перечислений.
- Разработан механизм перехода между версиями при обновлении Экстрактора. (переработан механизм хранения служебных данных и переработана структура проектов)
- Разработка механизмов плагинов для Экстрактора (теперь код отрефакторен так, чтобы легко можно было добавлять новые источники данных)
- По новому механизму "плагинов" реализован плагин для импорта файла CSV.
- Сделано довольно много оптимизаций.

Важное!
- Реализовали "ролевую модель". Описание тут: https://1c2bi.ru/docs/course/?COURSE_ID=6&LESSON_ID=180


Исправление ошибок:
- Ошибка доступа к модулю Экс_GZIP в толстом клиенте
- Для новых проектов, исправлена партиция по-умолчанию с Месяц на День
- Исправлено сохранение произвольного кода обработчика инициализации строки.
- Поправлены ошибки, которые мы выявляли весь март месяц

Релизы расширения 1С для платформы 1С ниже 8.3.16 требуйте в чате или у менеджера нашего отдела продаж
В Личном кабинете - апдейт - 2.11.7.18
И мы переходим к разработке следующего релиза
в Личный кабинет выложил еще один апдейт - 2.11.7.21
Исправление небольших (по большей части редко встречающихся) ошибок:

1. Ошибка при обновлении обработчика источника
2. Ошибка установки параметра по остаткам для ms и pg
3. Проверка права "Администрирование" для доступности Администрирования СУБД
4. Добавлено права просмотра формы длительных операций и комментарий к правам на очередь
5. Галочка "Внешнее соединение" на модуле Экс_ПредопределенныеОбработчики
6. ошибка сохранения произвольного когда регистрации изменений строки проекта
7. Ошибка экранирования уникального идентификатора
Релиз 2.11.8.18
Последний релиз на этой неделе, так сказать финальный штрих
Многие моменты уже включены были в предыдущих апдейтах, здесь же мы собрали воедино все фиксы и мелкие хотелки

Данный релиз должен стать завершающим в ветке 2.11
Уже в "Личном кабинете"

Что сделано:
1. Небольшие интерфейсные изменения
2. Реализована предподготовка для версии лицензирования MINI
3. Если работаем с Запросом 1С, то теперь добавленные поля автоматически добавляются в список выбора
4. Запретили выбор
- Части дат
- Вложенные табличные части для справочников и документов (если выбирается сам объект в запросе 1С, а не его табличная часть как источник)
5. Если пометили на удаление Проект, то удаляется и связанное с ним регламентное задание
6. Доработки по загрузке шаблонов проектов (выбор подключения и прочее)
7. Доработаны роли, в частности - базовые права на редактирование проектов
8. Доработан сброс кэша при изменении проекта (да-да, мы активно кешируем все, что только можно в исполнении проектов)
9. Постепенно расширяем методы работы системы лицензирования (чтобы в будущем прийти к системе автообновлений)
10 для MS SQL и PostgreSQL - поле партиции (__Partition) сделали предопределенным
11. Актуализировали описания обработчиков регистрации и инициализации очереди (с тем, чтобы разработчику было комфортнее писать свои "кастомные" обработчики очереди)


PS:
Продолжаем исследования по еще большему увеличению скорости работы нашего продукта, хотя и сейчас Экстрактор 1С достаточно комфортно функционирует на больших базах 1С (но мы целимся в "кровавый" Enterprise 😎):
- в многопользовательской конкурентной среде (в том числе и в "толстом клиенте" УПП)
- в ситуациях массовых потоковых загрузок из внешних сервисов (ТСД, MES и т.д.)

Сейчас пошли в исследование механик подписок на события и работы с очередями,
- в частности начали проверять гипотезу использования Redis - как системы внешней регистрации очереди изменений, чтобы избегать излишних блокировок на регистре сведений "Очереди" на количестве пользователей > 300.

С результатами вернемся чуть позднее 😀
Channel name was changed to «Экстрактор и Аналитика данных. Из 1С в BI»
Меняем наш телеграм-канал в лучшую сторону!

Теперь в нашем телеграм-канале мы не только будем делиться релизами новых фич нашего флагманского ETL-продукта Экстрактор, но также:

- помогать разбираться в аналитике данных в 1С и различных BI-системах;
- делиться своими кейсами и отзывами клиентов;
- рассказывать про наши услуги внедрения BI-аналитики;
- публиковать интересные новости BI-индустрии;
- и, конечно, иногда публиковать мемчики :)

Оставайтесь с нами, будет интересно!

#экстрактор #бизнесаналитика #BI #1C
Без сомнения, дашборды являются одним из основных инструментов в арсенале любого бизнес-аналитика. Это мощный инструмент визуализации данных, который позволяет быстро и наглядно отслеживать ключевые показатели проекта или бизнеса

В этой статье мы рассмотрим основные типы дашбордов, их преимущества и настройку, чтобы помочь вам создать эффективный инструмент для мониторинга и принятия решения.

Ссылка на статью