Еще один небольшой анонс нового релиза Экстрактора данных 1С в BI: 2.9.19.68
Это уже не альфа, это уже полноценная бета
У нас получилось реализовать автоматизм в секционировании и распараллеливании выгрузки данных для "простого" пользовательского режима, и при этом, не сломать старые механизмы ("экспертный" режим)
Еще немного и релиз выпустим

PS:
В принципе уже можно присоединяться к тестированию

https://youtu.be/OWV4CEdTW8w

https://denvic.ru/blog/bysiness-analysis/vyshel-novyy-reliz-ekstraktora-1s-2-9-19-77/
Выпустили новый релиз Экстрактора 1С - 2.9.19.77
Приглашаю к тестированию

Новое:
- переработанный механизм работы с объектами конфигурации (как наборам данных) с партицированием и автоматическим формированием обработчиков инициализации первичной выгрузки и регистрации изменений
- внедрены предопределенные обработчики (в течение следующей недели будем их описывать в документации и сопровождать видео
- реализовано оповещение о завершении (неуспешном) исполнения проекта в видео пост-обработчика
- и многое другое
Документацию уже начали дополнять: https://1c2bi.ru/docs/course/?COURSE_ID=3&CHAPTER_ID=070&LESSON_PATH=17.70

Первые правки:
Небольшие правки:
2.9.19.80 Доработка интерфейса под старые конфигурации. Ошибка СтрНайти(). Прочее
2.9.19.79 Ошибка не встречалась, но возможна, снято ограничение на длину предопределенного обработчика
2.9.19.78 Ошибка при редактировании строки проекта, когда база по умолчанию (из подключения) отличается от базы в строке

Релиз 2.9.19.80 уже выложен в Личном кабинете

Понемногу добавляем фукнкциональность, правим баги нового релиза. И уже приступили к разработке новой функциональности (MS SQL - как база-приемник)

Из нового - добавили поддержку ReplacingMergeTree для справочников
Описание тут: https://1c2bi.ru/docs/course/?COURSE_ID=3&LESSON_ID=78

А вот и долгожданное видео с bi meetup в Питере
https://youtu.be/G7DI0-LmbOI?si=mMNKbA0zS4zcQjrl

Небольшие багфиксы
2.9.20.86 Ошибка в помощнике в коннекторе
2.9.20.85 Ошибка десериализации параметров очереди

уже в Личнном кабинете

Еще небольшой баг-фикс:
2.9.20.87 Ошибка, псевдоним поля в старых версия формируется по другому

Выпустили еще багфикс: 2.9.20.88 Была Ошибка, при выгрузке Excel

Если вдруг будет желание поэкспертиментировать, то в свежем релизе есть поддержка "медленно изменяющихся измерений"

Когда нужна частая выгрузка справочников (каждые 5 секунд скажем), то можно поэкспериментировать с движком ReplacingMergeTree
Вот описание как настроить: https://1c2bi.ru/docs/course/?COURSE_ID=3&LESSON_ID=78&LESSON_PATH=17.77.78
ЗЫ:
Но там будет особенность, все запросы (Select) к такой таблице нужно будет выполнять с суффиксом FINAL (чтобы clickhouse не показывал дубли)

Небольшой баг-фикс
2.9.20.89 Ошибка, обработчики строки выполняются при выгрузке каждой строки.
Поправлено, чтобы выполнялись только привязанные к данной строке проекта обработчики

Приступили к закрытому тестированию нового релиза:
- Экстрактор 1С с выгрузкой данных в Microsoft SQL

Оптимистично 😀 до конца месяца выпустим релиз

Перешли к тестированию
Баги есть, но уже несерьезные
https://youtu.be/Z9c6lZ9Te-0

Выпустили релиз 2.10.1.1 с поддержкой выгрузки из 1С в MS SQL Server
Поддержано два варианта выгрузки:
- Insert (вставка блоками)
- Bulk Insert (вставка через файлы TSV)

Идеология выгрузки сохранена прежней:
- Полная перевыгрузка (когда таблица очищается и загружается снова)
- Добавление
- Перезапись партиции (где в качестве "партиции" используется автозаполняемое "служебное" поле __Partition (с индексированием)

Краткая инструкция: https://1c2bi.ru/docs/course/?COURSE_ID=3&CHAPTER_ID=085&LESSON_PATH=17.85

Видео с демо: https://youtu.be/xEFZcF6sPrI

Релиз обновления: 1С Экстрактор 2.10.2.2
💥 Обновление Экстрактора данных 1С в BI.
Обновление оценят те, кто работает с Microsoft Power BI: обновленный 1С Экстрактор выгружает данные теперь еще и в MS SQL Server.
Какие возможности открываются пользователям Microsoft Power BI?
- Удобная и легкая настройка выгрузки данных 1С (по схеме: Далее-Далее-Далее…);
- Частая выгрузка из 1С в MS SQL (хоть каждый час, хоть каждые 15 минут)
- Работа с оперативными данными 1С в Power BI не только в режиме Import, но и Direct Query;
- Быстрая многопоточная выгрузка данных из 1С;
- Все возможности 1С по предоставлению данных, вплоть до документа-регистратора, а также выгрузка ежедневных остатков, сложные запросы и расчеты и т.д.;
- Система работает с любой 1С 8 (независимо от платформы 1С и конфигурации).

Исправления ошибок релиза 2.10.2.2:
1. Ошибка экранирования имени базы ClickHouse
2. Ошибка копирования подключения
3. Поправлена ошибка при выборе функции "Произвольная подстрока"
4. Исправлено экранирование блоков insert для MSSQL
5. Прочие мелкие исправления
Улучшения:
1. Предопределенные обработчики вынесены в отдельный модуль (без обфускации)
2. Сборщик: Блок между строк сворачивается в одну строку, что ускоряет выполнение, актуально для больших циклов
3. В дереве конфигурации выведены иконки по типу объекта

👍 Краткое видео по настройке выгрузки из 1С 8 ERP 2.5 в MS SQL Server:
https://youtu.be/xEFZcF6sPrI

В Личный кабинет выложили обновление (релиз 2.10.2.3):
Исправление ошибок:
Для MS SQL
1) При изменении таблицы была ошибка, которая не фиксировалась, но и таблица не изменялась
2) Ошибка выгрузке "пустой даты"
3) При создании таблицы для поля даты с временем теперь выбирается тип datetime2(0) (он поддерживает больший диапазон при меньшем потреблении памяти)
4) Ошибка восстановления размерности поля при открытии конструктора
5) исправление ошибки экранирования при выгрузке "блоками"

Общее
1) Добавлена управляемая форма списка очереди (чтобы исключить создание формы по умолчанию)
2) В форме списка очереди добавлена кнопка очистки очереди (удаляются записи согласно текущего отбора на форме)

Внутри команды обсудили ближайшие планы на разработку (горизонт 2 недели), итого приступаем к:
1. Оптимизация и еще раз оптимизация. Ускоряем выгрузку и регистрацию изменений, особенно для Толстого клиента 1С (будет актуально для решения на базе УПП 1.3 и т.д.).
2. Лечим (вылезающие сейчас активно) болячки новой выгрузки в MS SQL (ну и готовимся уже к автоматизации выгрузки в PostgreSQL).
3. Накопили в бэклоге кучу мелких интерфейсных хотелок и багов. Будем делать тоже.
4. Поймали мелкие особенности в выгрузке из MS Excel - устраняем.
5. Готовим структурированную документацию.

Новый релиз - 2.10.2.6. Небольшие правки по коду:
Исправлены следующие баги:
1) При снятии флага с параметра набора данных, партиция все равно создается
2) Зависания при выборе в поле просмотра Excel - файла
3) Добавлены кнопки копирования, выбора и снятия выбора при настройке выгрузки из Excel - файла
4) Добавлено сообщение об успешности/неуспешности ввода ключа лицензирования
5) В шаблон проекта добавлены новые поля о текущей версии платформы и конфигурации
6) Поправлена загрузка шаблонов для MS SQL
7) Добавлена настройка количества параметров регламентного задания для "кастомных" сборок расширения Экстрактора 1С (например для Альфа-Авто)
#Релиз

А можно ли собрать P&L на данных 1С Бухгалтерии в Yandex Datalens? - конечно можно
Один из вариантов настройки есть на данном коротком видео (причем без единой строчки программного кода):
https://youtu.be/GsrFlLy3vdY
Использованы:
1. 1С Бухгалтерия (демо база)
2. Экстрактор 1С
3. Yandex Datalens

Сделали предрелиз поддержки выгрузки в PostgreSQL

Эта неделя посвящена ловле багов (пока баги ловятся хорошо, все таки в PostgreSQL много "особенностей")
Если все будет удачно, то в конце недели выпустим уже бета-релиз