📊 Приглашаем Вас на онлайн-вебинар: "Экосистема Denvic Visual Tools: управляйте данными вокруг 1С без хаоса и ошибок".

📍23 декабря в 11:00 по Мск (онлайн).

О чём поговорим:
— Data governance (DAMA). Визуальное программирование в тренде;
— Обзор инструментов работы с 1С: Экстрактор 1С, Инжектор 1С, Denvic Visual Transformer, Denvic Control Center (а также инструмент - Коннектор Битрикс 24);
— Покажем в живом формате вебинара, как выгружать, трансформировать и загружать данные быстро и безопасно — без ручной работы и перегрузки IT;
— В блоке ответов на вопросы, развеем все мифы и сомнения.

В рамках программы мы расскажем как наши инструменты помогут превратить процессы внутри компании в data-driven.

📍 Описание и регистрация по ссылке

Реклама: ООО «Денвик Аналитика», ИНН 1101178666, erid: 2VtzquX5oBY

Котятки,
мне когда-то коллега, которая сменила профиль на аналитику, советовала karpovꓸcourses для прокачки SQL — с комментарием, что это один из самых сильных вариантов на рынке. Со временем я сама в этом убедилась и периодически передавала это знание по цепочке дальше.

И вот конец года — время подводить итоги и открывать новые возможности. karpovꓸcourses начинает этот путь с вебинара, где Рома Бунин, Настя Кузнецова и Анатолий Карпов расскажут о ключевых этапах карьеры аналитика данных.

На вебинаре разберут, как меняется рынок и какие навыки действительно помогут выстроить устойчивую карьеру, чем сегодня занимаются аналитики данных и почему без них не обходится ни один цифровой продукт. Поговорят о том, с чего начать путь в аналитику, если вы только присматриваетесь к профессии, и как структурировать знания, если вы уже в ней работаете. Отдельно эксперты обсудят подходы к визуализации данных и BI, которые они строили для тысяч пользователей.

И приятный бонус: только в прямом эфире будут бонусы и редкий розыгрыш бесплатных мест на курс «Аналитик данных» и два симулятора karpovꓸcourses.

Думаю, заглянуть туда точно стоит: https://clc.to/erid_2W5zFHw95Hr

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFHw95Hr

Котятки🐱,
У меня очередная книженция для легкого чтения — менеджерский взгляд на хранилище и BI👆. 0% кода, 100% концепций и бизнес-процессов околохранилищной тематики.
Она опять старенькая, но почти все актуально - в ней база, очень широкими мазками. Чем она хороша: я уже ее заложила как гайдбук для AI-бота , который помогает мне с бизнес-требованиями по новым проектам DWH, и бот стал успешно подсказывать мне, о чем я забываю.

Котятки🐱,
Учет трудозатрат в BI- моя типичная проблема. Что важнее, где находится стул сотрудника или где находится его разум?
Ну и, конечно, как не перегнуть палку и не начать требовать фиксировать всякие важные мелочи, которые и поддерживают качество работы: мелкие правки, мониторинг, governance, да даже кому-то помочь советом в рамках self-service. В итоге к меня картинка всегда крупными мазками, чисто по задачам и инцидентам в Jira.
Хорошая статья к размышлению:
https://www.rdlogic.com/article-content/6-challenges-in-tracking-time-in-rampd-intensive-environments

Котятки🐱,
Я практически не использую Violin plot в рамках операционной работы, только для ad hoc.
Но сегодня мы взялись за визуализацию и сравнения временных рядов - в типичной задачке поиска отклонений в производительности системы по связанной группе операций. И все бы ничего, но это не разовый запрос, а, как планируется, полноценный мониторинг((
Видимо, мне все же придется полюбить эти страшненькие штуки. Ну или все же вернуться к любимым гистограммам.
Линк:
https://habr.com/ru/articles/751898/
Что из базы глянуть еще:
https://newtechaudit.ru/yashhiki-usy-skripki/

Котятки🐱,
Долго вам ничего не писала, каюсь. Ничего не трогало мое сердечко, ибо большая часть статей и информации крутится вокруг датавиза и ИИ, и создается ощущение, будто свежих идей нет и мы немного ‘в болоте’.
Однако на прошлой неделе вышла вот такая занимательная статеечка по архитектуре: https://thearchitectcoach.com/top-trends-in-data-analytics-governance-for-2026-2028/
В ней декларируется успех новой модели, которую скромно назвали ‘операционная истина’: стабильный смысл по всему предприятию, дисциплинированное движение данных, инженерная надежность и проверяемые решения.
Ну то есть никакого супер-упора на data governance, суверенитет, качество данных и ‘нужно больше ИИ’.
Статья очень стратегическая, в ней нет привычного нам разбора тактических шагов -только прогноз на удачную стратегию и сборка модных сейчас дата-трендов с их экстраполяцией на будущее.
Но что важно: я сама сейчас озабочена такими штуками, как ‘интеграция с нулевым копированием’ и построение AI-архитектуры с полным отходом от суждений, которые может родить этот AI. В общем, мне откликнулось, мой рекомендасьон.

Котятки🐱,
Я почти не умею расставаться с любимыми дашбордами или витринами данных, поэтому пытаюсь впихнуть в инциденты то, что близко к change requests, да и сами CR активно приветствую. Короче, пытаюсь продлить жизнь любимых поделок: живите, дашики)).
Для такого поведения есть и достаточно околонаучное обоснование -колесо смерти данных, в обобщенном виде: https://brianbalfour.com/essays/growth-data-mistakes. В него достаточно сложно не войти, скажу я вам)
В чуть более расширенном виде его неплохо описали вот в этой статье на Medium, буквально разжевав основные ловушки: https://medium.com/craftingdataproducts/the-data-death-cycle-6b10ef261d8e

Котятки,
Я, наверное, мамонт, и предпочитаю изоляцию сред.
А вот новенький Qlik Sense нежно шепчет мне, что все это уже устарело, не нужен мне отдельная VM, ведь я могу делать «спейсы» в рамках одного инстанса и так имитировать разные среды.
Для меня это централизация (физическая), а промо-материалы говорят, что наоборот, децентрализация (логическая). Разные пласты реальности.
Также и Self-service, там тоже есть в процессах разные логические пласты и , имхо, в зависимости от религии архитектора песочницу можно организовать очень по-разному.
Продолжая классную историю ‘Давать ли пользователям sql в зубки или централизовать все и организовать governance’, почитываю утром вот эту статейку:
https://dataopsleadership.substack.com/p/data-death-cycle-the-silo-trap

Котятки,
Чтение статеек и гайдов вряд ли подготовят вас к тому, с чем придется реально столкнуться на онбординге, особенно когда вы джун. Получение доступов к средам, трекинг, code style guides, чтение документации ,- это цветочки. Первые задачки с хз каким ТЗ, первые фейлы, вечно занятые коллеги, коммуникации с бизнесом, когда тебе просто не отвечают и всё тут, - добро пожаловать в мир аналитики:) Я сама в свое время долго училась балансу, - когда нужно подождать, а когда, наоборот,дожать.
Я училась опытным путем. Потом пришли очные мастер-классы. А теперь есть нормальные вебинары, где спикеры делятся живым опытом.
17 февраля ждем вас на вебинаре «Аналитик данных изнутри: онбординг, задачи и роль в команде». Нина Гусева (кстати, она работала в MyGames, я с теплом вспоминаю вайб, лучший офис в моей жизни) расскажет, как устроена работа аналитика изнутри - когда уже оформили и в зубы дали нейросеть и надо бы понять, что дальше. Вместе с вами разберут первые недели на работе аналитика: что ждут, как не провалиться.
Линк на регистрацию: https://clc.to/erid_2W5zFJdD7e8

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFJdD7e8

Для любителей дата-визуализаций

Здесь собрана интерактивная визуализация всей истории западной философии с возможностью простроить связи, спорные моменты, зарождение и развитие теорий и идей.

Автор работает над этим проектом уже 12 лет.

Единственное – очень плохо работает скролл, но, возможно, это мой браузер Comet не очень подружился с майндмэпом.

Котятки🐱,
Тема последних двух недель у меня: как дать пользователям привычные UX-паттерн, полностью изменив технологию под капотом.
Пользователи у меня уж очень полюбили SSAS-кубы с подключением экселя как эндпоинта.
Интересные факты:
1)Qlik Sense обладает особой магией и может быть неотличим от экселя
2) Если подшаманить с Qlik Automate, можно делать обновляемый экспорт в Excel
3) К экселю можно подключить опубликованную в рабочую область модель данных Power BI, и визуально он почти-почти как куб
Казалось бы, зачем так извращаться, если можно сказать ‘Вот новый BI-инструмент(ы), берите что дают?’
Но увы, время такое, что дашборд может генерировать и ИИ : BI гоняется за пользователями, а не они за нами)

Котятки🐱,
В моей практике не первый раз встречаются апплики и области Power BI с запутанной моделью. Обычно для появления этих клубков ужаса несколько причин - старая команда ушла, новая не стала делать рефакторинг и просто нашлепала сверху меры, проблемы с производительностью решались не системно, а локальными костылями и пр.
Короче, поддерживали как могли.
Как правило, команды начинают копаться в этом либо руками, либо спец инструментами типа такого:
https://fabric.guru/measure-maze-visualizing-measure-dependencies-using-semantic-link-network-analysis

И потом приходят к классическому артефакту - data dependency graph.
Я веду сейчас самый простой и универсальный, вот по этой методике, минимумом атрибутов и слоев: https://philarchive.org/archive/NAVACF
Но он подходит, если у вас чисто DWH и контроль за эндпоинтами:)

Котятки🐱
Я по качеству данных всегда иду простым путем - создание DQ-policy as a layer и ставлю какую-то отдельностоящую коробочку или изолированное решение: в любимках у меня Great Expectations как ядро всяких DQ-коробочек, но кто что любит, тут вкусовщина: https://www.kdnuggets.com/5-python-data-validation-libraries-you-should-be-using
В этом сезоне у меня сошлись в команде три парадигмы, и команда тоже разделилась на три части:
-одна топит за уменьшение скорости вставки данных и работу с целостностью на уровне ключей там, где у нас слой datamarts, типа так: https://chat2db.ai/resources/blog/primary-and-foreign-keys
-вторая - моя, но я в одиночестве и без адептов) Централизация функции качества данных почти всегда ведет к росту затрат, увы.
-третья перешла в религию пооперационной истины (о чем я писала выше) и предложила вставить шаблоны DQ прямо в пайплайны как обязательные элементы. Динамические скрипты подъехали незаметно, что их))
Сижу на развилке, дальше все интереснее и интереснее.
Из новенького: открыла для себя портал Data Quality Pro, у них концептуальный блог, не гайдлайны, но тоже занимательно: https://www.dataqualitypro.com

Котятки🐱,
Наверное, некоторые шишки надо набить, а ошибки - прожить.
Сейчас переписываю свой парсер с формата ‘куст’, в нечто, близкое вот к этой статье: https://habr.com/ru/companies/spectr/articles/815831/
Что могу сказать?
С точки зрения разработки и хранения, динамические решения даже в хранилище уже могут быть вариантом нормы.
Но увы, классическая BI-аналитика и BI-инструменты не предназначены для таких решений. Им на входе надо ‘знать, что придет’. Всякие лайфхаки типа Schema-drift и иже с ними на длинном горизонте очень неслабо деградируют по производительности.
Что делать, не знаю, но думаю)

Котятки🐱,
У меня сегодня всплыла сложная и специфическая темка - коммодификации данных , то есть превращение их в товар. Ну или актив,- более модное словечко.
Впервые я столкнулась с этим в 2014 году и не смогла выдохнуть,- на моих глазах разворачивалась история, когда обладание определенным массивом данных и пониманием, как его применить, давало нехилое преимущество в рыночной стратегии.
Сейчас этим никого уже не удивишь - есть и биржа данных, и коммерческие датасеты, и торговля API с консолидациями. Ну и скрытую коммодификацию никто не отменял - ряд узких IT-решений берут чисто за то, что их модели заточены годами операционных процессов и датасетов профильных компаний, и они учли все возможные узкие места. Это, фактически, способ подсмотреть к конкурентам или лидерам направлений, - Закон Конвея пока еще работает.
Но сегодня я уже думаю о коммодизации - страшилке, что восприятие данных как актива подрывает понятие конфиденциальности и безопасности.
В общем, как говаривал однажды наш безопасник, некоторые данные не надо собирать даже в эксельку. Пусть валяются.