Котятки🐱,
Долго вам ничего не писала, каюсь. Ничего не трогало мое сердечко, ибо большая часть статей и информации крутится вокруг датавиза и ИИ, и создается ощущение, будто свежих идей нет и мы немного ‘в болоте’.
Однако на прошлой неделе вышла вот такая занимательная статеечка по архитектуре: https://thearchitectcoach.com/top-trends-in-data-analytics-governance-for-2026-2028/
В ней декларируется успех новой модели, которую скромно назвали ‘операционная истина’: стабильный смысл по всему предприятию, дисциплинированное движение данных, инженерная надежность и проверяемые решения.
Ну то есть никакого супер-упора на data governance, суверенитет, качество данных и ‘нужно больше ИИ’.
Статья очень стратегическая, в ней нет привычного нам разбора тактических шагов -только прогноз на удачную стратегию и сборка модных сейчас дата-трендов с их экстраполяцией на будущее.
Но что важно: я сама сейчас озабочена такими штуками, как ‘интеграция с нулевым копированием’ и построение AI-архитектуры с полным отходом от суждений, которые может родить этот AI. В общем, мне откликнулось, мой рекомендасьон.

Котятки🐱,
Я почти не умею расставаться с любимыми дашбордами или витринами данных, поэтому пытаюсь впихнуть в инциденты то, что близко к change requests, да и сами CR активно приветствую. Короче, пытаюсь продлить жизнь любимых поделок: живите, дашики)).
Для такого поведения есть и достаточно околонаучное обоснование -колесо смерти данных, в обобщенном виде: https://brianbalfour.com/essays/growth-data-mistakes. В него достаточно сложно не войти, скажу я вам)
В чуть более расширенном виде его неплохо описали вот в этой статье на Medium, буквально разжевав основные ловушки: https://medium.com/craftingdataproducts/the-data-death-cycle-6b10ef261d8e

Котятки,
Я, наверное, мамонт, и предпочитаю изоляцию сред.
А вот новенький Qlik Sense нежно шепчет мне, что все это уже устарело, не нужен мне отдельная VM, ведь я могу делать «спейсы» в рамках одного инстанса и так имитировать разные среды.
Для меня это централизация (физическая), а промо-материалы говорят, что наоборот, децентрализация (логическая). Разные пласты реальности.
Также и Self-service, там тоже есть в процессах разные логические пласты и , имхо, в зависимости от религии архитектора песочницу можно организовать очень по-разному.
Продолжая классную историю ‘Давать ли пользователям sql в зубки или централизовать все и организовать governance’, почитываю утром вот эту статейку:
https://dataopsleadership.substack.com/p/data-death-cycle-the-silo-trap

Котятки,
Чтение статеек и гайдов вряд ли подготовят вас к тому, с чем придется реально столкнуться на онбординге, особенно когда вы джун. Получение доступов к средам, трекинг, code style guides, чтение документации ,- это цветочки. Первые задачки с хз каким ТЗ, первые фейлы, вечно занятые коллеги, коммуникации с бизнесом, когда тебе просто не отвечают и всё тут, - добро пожаловать в мир аналитики:) Я сама в свое время долго училась балансу, - когда нужно подождать, а когда, наоборот,дожать.
Я училась опытным путем. Потом пришли очные мастер-классы. А теперь есть нормальные вебинары, где спикеры делятся живым опытом.
17 февраля ждем вас на вебинаре «Аналитик данных изнутри: онбординг, задачи и роль в команде». Нина Гусева (кстати, она работала в MyGames, я с теплом вспоминаю вайб, лучший офис в моей жизни) расскажет, как устроена работа аналитика изнутри - когда уже оформили и в зубы дали нейросеть и надо бы понять, что дальше. Вместе с вами разберут первые недели на работе аналитика: что ждут, как не провалиться.
Линк на регистрацию: https://clc.to/erid_2W5zFJdD7e8

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFJdD7e8

Для любителей дата-визуализаций

Здесь собрана интерактивная визуализация всей истории западной философии с возможностью простроить связи, спорные моменты, зарождение и развитие теорий и идей.

Автор работает над этим проектом уже 12 лет.

Единственное – очень плохо работает скролл, но, возможно, это мой браузер Comet не очень подружился с майндмэпом.

Котятки🐱,
Тема последних двух недель у меня: как дать пользователям привычные UX-паттерн, полностью изменив технологию под капотом.
Пользователи у меня уж очень полюбили SSAS-кубы с подключением экселя как эндпоинта.
Интересные факты:
1)Qlik Sense обладает особой магией и может быть неотличим от экселя
2) Если подшаманить с Qlik Automate, можно делать обновляемый экспорт в Excel
3) К экселю можно подключить опубликованную в рабочую область модель данных Power BI, и визуально он почти-почти как куб
Казалось бы, зачем так извращаться, если можно сказать ‘Вот новый BI-инструмент(ы), берите что дают?’
Но увы, время такое, что дашборд может генерировать и ИИ : BI гоняется за пользователями, а не они за нами)

Котятки🐱,
В моей практике не первый раз встречаются апплики и области Power BI с запутанной моделью. Обычно для появления этих клубков ужаса несколько причин - старая команда ушла, новая не стала делать рефакторинг и просто нашлепала сверху меры, проблемы с производительностью решались не системно, а локальными костылями и пр.
Короче, поддерживали как могли.
Как правило, команды начинают копаться в этом либо руками, либо спец инструментами типа такого:
https://fabric.guru/measure-maze-visualizing-measure-dependencies-using-semantic-link-network-analysis

И потом приходят к классическому артефакту - data dependency graph.
Я веду сейчас самый простой и универсальный, вот по этой методике, минимумом атрибутов и слоев: https://philarchive.org/archive/NAVACF
Но он подходит, если у вас чисто DWH и контроль за эндпоинтами:)

Котятки🐱
Я по качеству данных всегда иду простым путем - создание DQ-policy as a layer и ставлю какую-то отдельностоящую коробочку или изолированное решение: в любимках у меня Great Expectations как ядро всяких DQ-коробочек, но кто что любит, тут вкусовщина: https://www.kdnuggets.com/5-python-data-validation-libraries-you-should-be-using
В этом сезоне у меня сошлись в команде три парадигмы, и команда тоже разделилась на три части:
-одна топит за уменьшение скорости вставки данных и работу с целостностью на уровне ключей там, где у нас слой datamarts, типа так: https://chat2db.ai/resources/blog/primary-and-foreign-keys
-вторая - моя, но я в одиночестве и без адептов) Централизация функции качества данных почти всегда ведет к росту затрат, увы.
-третья перешла в религию пооперационной истины (о чем я писала выше) и предложила вставить шаблоны DQ прямо в пайплайны как обязательные элементы. Динамические скрипты подъехали незаметно, что их))
Сижу на развилке, дальше все интереснее и интереснее.
Из новенького: открыла для себя портал Data Quality Pro, у них концептуальный блог, не гайдлайны, но тоже занимательно: https://www.dataqualitypro.com

Котятки🐱,
Наверное, некоторые шишки надо набить, а ошибки - прожить.
Сейчас переписываю свой парсер с формата ‘куст’, в нечто, близкое вот к этой статье: https://habr.com/ru/companies/spectr/articles/815831/
Что могу сказать?
С точки зрения разработки и хранения, динамические решения даже в хранилище уже могут быть вариантом нормы.
Но увы, классическая BI-аналитика и BI-инструменты не предназначены для таких решений. Им на входе надо ‘знать, что придет’. Всякие лайфхаки типа Schema-drift и иже с ними на длинном горизонте очень неслабо деградируют по производительности.
Что делать, не знаю, но думаю)

Котятки🐱,
У меня сегодня всплыла сложная и специфическая темка - коммодификации данных , то есть превращение их в товар. Ну или актив,- более модное словечко.
Впервые я столкнулась с этим в 2014 году и не смогла выдохнуть,- на моих глазах разворачивалась история, когда обладание определенным массивом данных и пониманием, как его применить, давало нехилое преимущество в рыночной стратегии.
Сейчас этим никого уже не удивишь - есть и биржа данных, и коммерческие датасеты, и торговля API с консолидациями. Ну и скрытую коммодификацию никто не отменял - ряд узких IT-решений берут чисто за то, что их модели заточены годами операционных процессов и датасетов профильных компаний, и они учли все возможные узкие места. Это, фактически, способ подсмотреть к конкурентам или лидерам направлений, - Закон Конвея пока еще работает.
Но сегодня я уже думаю о коммодизации - страшилке, что восприятие данных как актива подрывает понятие конфиденциальности и безопасности.
В общем, как говаривал однажды наш безопасник, некоторые данные не надо собирать даже в эксельку. Пусть валяются.

Котятки🐱

Если в BI вдруг начинает ощущаться, что вы не аналитик, а оператор ручного труда — возможно, это звоночек.

10 марта в 12:00 (мск) Yandex Cloud делает вебинар «API в DataLens – все пути автоматизации». Будут разбирать, как через Public API и API-коннектор убрать лишние телодвижения и перестать перекладывать одно и то же из раза в раз.

Автоматизация в BI — штука коварная. Пока всё стабильно — живём. Как только отчётов становится больше, пользователей — шире, а сценариев — сложнее, ручные действия начинают мстить.

Полезно будет тем, кто живёт рядом с данными: BI-аналитикам, дата-инженерам, разработчикам, архитекторам и тем, кто отвечает за аналитику целиком.

Участие бесплатное, но нужна регистрация.
Если автоматизация давно в бэклоге — хороший повод наконец туда посмотреть 👀

Котятки,
На прошлой неделе в моей команде была очень крутая дискуссия - как хранить сущность с динамическим набором атрибутов (в зависимости от какого-нибудь атрибута этой же сущности). Обычно такие кейсы возникают, когда мы берем слишком высокий уровень абстракции (условно, не сущности ‘стол’ и ‘шкаф’, а объединяем в одну сущность- ‘мебель’).
Я люблю всякое хранение, основанное на идентифицирующих связях. Он мне напоминает data vault. Кто-то любит EAV.
До 24 года я очень любила БД Cassandra для таких кейсов. Отсутствие гибкости компенсировалось скоростью работы в конкретно задачах с динамическими атрибутами. Моя любовь бы и дальше продолжалась, если бы не драматическая ситуация с удвоением данных,- увы, тут эта базеночка явно не пушка, однажды начисто парализовала чтение.
Линк на почитать: https://habr.com/ru/companies/tbank/articles/951772/