Полтора месяца записываю курс по Временным рядам (потому и нет пока постов) с кучей математики, графиков, фамилий иностранских учёных... Дак теперь мне везде мерещатся тренды, сезонности, фильтрации, декомпозиции...

Приветствую, любители аналитики!

Вот и вышла статья, которую обещал в прошлом посте.
О том, как сделать автоматический линеаж витрин данных, то есть, их взаимосвязи типа "потомок — предок".

Линеаж показывается в виде интерактивного графа, где узлы — витрины (таблицы и представления), а рёбра — направленные зависимости между ними.

В качестве визуализатора графа используется СУБД Neo4j. Всё что нам нужно — это сделать коннектор между нашим Clickhouse и Neo.
Код коннектора тоже найдете в статье.

Новый вид модели данных уже помогает мне понимать сложную структуру нашего парка витрин и уверенней вести разработку или глубокий рефакторинг.

Так что пробуйте!

Приветствую, любители аналитики!

Ещё пара слов о ресурсах.

Известно, что продуктивность офисного сотрудника не однородна в течение дня.
Я заметил за собой, что могу тупить час-полтора, а потом за 15 минут решить задачу, которая давно висит (особенно противны задачи с поиском причин расхождений в данных).

Стал выяснять, от чего это зависит, оказалось — всё от того же банального уровня энергии!

Если мозги устали, если клонит в сон — бесполезно пытаться работать (и даже вредно!). Ничего не получится, нет.
Продуктивней будет сделать перерыв, передохнуть, а если есть возможность — то и вздремнуть. Хотя с дневным сном нужно аккуратней — после него может быть трудно проснуться и вернуться в ясное мышление.

Так или иначе, я пришел к выводу, что наличие энергии — даже важнее, чем наличие времени.
Если вы бодры и воодушевлены, вам хватит 15 минут на дело, на которое в состоянии упадка может уйти пара часов.

Развивая эту мысль, можно дойти до нового порядка работы: не спеши, больше отдыхай, отключайся.
При чутком учёте и своевременном восстановлении энергии ты можешь работать хоть 2 часа из 8 и при этом успевать закрывать больше задач, чем если будешь себя заставлять высиживать положенное рабочее время.

А ещё этот подход снижает уровень стресса, предотвращает выгорание и экзистенциальный кризис вообще делает работу более приятной.

Вот суть подхода:
Положим, вы столкнулись с затыком в задаче: нет идей, как её решать. Например, данные двух таблиц расходятся, а должны совпадать.
Отступитесь на время, сделайте паузу. Отойдите от компа (смартфон тоже не трогайте), по-возможности, удобно лягте, закройте глаза.
Расслабьтесь.
Постепенно перестаньте думать о задаче.
Оставайтесь в этом состоянии столько, сколько потребуется.
Этот перерыв на отдых сделает своё дело: либо придёт идея, как дальше действовать (например, какие сверочные запросы написать), либо вообще инсайт с решением (например, вспомнится упоминание коллеги об особенностях таблиц, которые и ведут к расхождению).

Ну что, будем тестить?

Приветствую, любители аналитики!

Давеча был я на Ахе 2026 (онлайн), и там обнаружилась неожиданно интересная мне панельная дискуссия, хотя обычно я такой формат не уважаю.
Тема: "Джуны-аналитики в эпоху GenAI"

Так вот, эксперты в один голос подтвердили, что требования к джунам растут. Это мы знали и так.

А вот это признание немного новее: технические навыки важны, но не главны.
Аналитики уходят от кодинга, и концентрируются на собственно анализе — постановке задач, поиске инсайтов, формулировке выводов и рекомендаций.
Посему на собеседовании могут особенно проверять именно эту часть способностей кандидата.
И, конечно, спросят об уровне владения нейросетями, вайб-кодингом.

ИИ-асситенты и агенты не вытесняют аналитиков. Они вытесняют кодеров, которые только и умеют, что писать код.
Они стремительно меняют подход к аналитике, ценности меняют.

К этому выводу я и сам пришел — давно ничего не программлю сам, но имею теперь возможность сосредоточиться на идеях, которые можно быстро проверять с помощью кода.
Так мы теперь и работаем. Например, в том году быстро разработали сервис Классификатора тематик бизнеса, который теперь нам поставляет ценны данные.

Так что, не нужно презирать или бояться нейронок — их надо решительно взять на вооружение.
Да, они порой глючат, поэтому и голову выключать не стоит.

PS. Тут я немножко писал, как с ними начать.

Приветствую, любители аналитики!

Вот, сегодня мне стукнуло 44. Похоже?
Самый расцвет сил, ума и всего такого.

И так совпало, что на неделе 4 вечера участвовал в защитах магистерских диссертаций дата-инженеров в НИУ ВШЭ в качестве члена гос.комиссии.

Глядя на сильные работы студентов и на меткие вопросы и комментарии преподов, я не только порадовался, что наша техническая наука ещё огого! - но и задумался о существенном углублении собственных навыков в этой сфере.

Мысль о том, как мало мы знаем, приходит, когда удаётся увидеть, как мал наш персональный мирок (в том числе, техстэк, круг задач и экторов) и как огромен остальной мир.

Теперь я надеюсь, мне хватит ресурсов осуществить задумки:
* взять интервью у не-рядовых участников AHA-2026
* взять интервью у крутых преподавателей ВШЭ
* а еще - запустить постепенно пополняемый глоссарий-справочник инструментов и технологий дата-специалиста. (Беглый поиск такового не выявил)

Интересно такое?

Приветствую, дорогие подписчики!
Нас с вами уже 2000!

Сегодня не про аналитику, а про оправдание — почему давно нет постов.
Я тут немножко путешествую по России: Бабаево (Вологодская область), Москва, Лакинск + Покрова на Нерли + Владимир + Суздаль (Владимирская область).
Пытаюсь отдыхать от интернета, мониторов, аналитики. Жгу сучья, фоткаюсь на фоне церквей, загораю (погодка благоволит).

Но я был бы не я, если б не закончил какой-нибудь нотацией. Поэтому:

Присоединяюсь к тем, кто советует нам — трудягам иногда как следует входить в зону комфорта. Отдыхать душой и телом, ловить моменты классной погоды.

Приветствую, любители аналитики!

Наконец я добрался до начала Справочника дата-специалиста.
По задумке, в нём будут собраны все сколько-нибудь известные инструменты, термины, методики и технологии, которые используют технари и аналитики на всех этапах работы с данными.

Как это будет выглядеть в конечном итоге — увидим в процессе.

А пока делаю маленький первый шажок: вашему вниманию представляется гугол-табличка, в которой на отдельных листах буду группировать соответствующие сущности и их описания.
Листов будет становиться всё больше, строк тоже, структура и классификация наверняка будут меняться, нам ведь важно найти наиболее удобный формат.

Начинаем с инструментов сбора и передачи данных. Сохраняйте ссылочку к себе, постараюсь обновлять документ регулярно (скажем, раз в неделю).

Да, если возникнут идеи о том, как структурировать полезней или добавить какой-то аспект — пишите в коменты, непременно рассмотрю.

Приветствую, любители аналитики!

Сегодня рекламный пост, но такое, признаться, рекламировать приятно.
Подкинули мне вот такой канал, личный блог предпринимателя Василия Щукина. Я полистал-почитал и понял, что подзадержусь здесь.

Во-первых, мне понравилось, как он оформлен: структурированно, грамотно, с форматированием, короче, читается легко. Меня, как любителя порядка и краткости, такое умиляет!

Во-вторых, мне близки темы канала: автоматизация бизнеса, управление, личная эффективность, бизнес-события и нетворкинг, даже семейным ценностям есть место.

Кстати, уже словил инсайт, который подлежит обдумать: о том, что регулярные занятия спортом не только прокачивают физическую энергоёмкость, но и тренируют способность решать любые задачи, доводить дело до конца.

Что до технической части — я себя называю сторонником "агрессивной" автоматизации. Только у нас в команде это побочный "продукт", а эти ребята занимаются сим делом профессионально и целенаправлено. И круто же! Рутину и ручной труд следует искоренять нещадно, на то и дано нам Создателем айти.
А в канале то и дело выкладываются кейсы этой работы. (Вот расквитаюсь с вебинарами, непременно поизучаю!)

В-третьих, в наше мутное, тревожное время особенно хочется видеть людей сильных, смелых, активных, предпринимателей, на которых стоит равняться. Раз они есть, значит жизнь не только продолжается, но и развивается.
И если такие люди охотно делятся частичкой своей энергетики, почему бы не принять её, порадовавшись за их успехи? Ведь радость даёт дофамин (или как его там)!

В общем, рекомендую.

Приветствую, любители аналитики!

Новая порция инструментов в нашем Справочнике для специалиста по данным!

Добавил на лист ETL/ELT оркестраторы и иже с ними.

Приветствую, любители аналитики!

В общем, вчера я был на яндексовой встрече про личный бренд, и там всякие руководители-яндексоиды болтали о своих каналах, там, о контенте и т.д.
И в том числе, о том, что нужно быть собой и писать порой о чем хочется — не только на специфичные темы канала.

Ну, я чо, я ж никогда не прочь поучиться у профи...
Поэтому сегодня об одном из моих хобби.

У меня есть собственная настольная игра — "Трапперы". Это фантастическая стратегия в жанре космического вестерна.

Я мог бы часами рассказывать историю создания настолки, вещать об игровом мире или написать километровый пост, но вчера сказали, что нефиг. Люди любят покороче (и я тоже люблю, чего уж там).

Поэтому вот вам ссылочки, кому интересно, сами смотрите:
Группа игры ВК
История создания Трапперов, часть 1
История создания Трапперов, часть 2
История создания Трапперов, часть 3
Подкаст-интервью о Трапперах

Ну а кому прям вот совсем-совсем интересно — можно и прикупить сие творчество:
OZON
Avito

Приветствую, любители аналитики!

Продолжаю наполнять Глоссарий-справочник дата-специалиста.
И у нас сегодня новый раздел, посвященный хранению данных.

Смотрите соответствующий лист. Здесь системы управления базами данных (СУБД) и всякие приблуды к ним.

Выбирай на свой вкус, как говорится!

Приветствую, любители аналитики!

Сегодня о мотивации, а именно — о способности работать на себя.

Если у вас есть работа, там с мотивацией как-то яснее. Потому что:
* Есть заказчик — кто-то, требующий результата (начальник, клиент и т.п.).
* Если работа в офисе, там рабочая атмосфера, запрещены развлечения/отвлечения
* За работу заплатят. А деньги — универсальный мотиватор
* Задачи и проекты относительно небольшие по времени (не на годы), виден план и конец
* Есть команда, коллеги, они с вами с одной упряжке, есть чувство локтя
* Есть правила, процессы

Когда вы работаете дома над своим проектом — например, осваиваете новое ремесло — аналитику:
- Вы сам себе хозяин, никто не подгоняет
- Не очевиден прогресс, результат, а ваши оценки — субъективны
- Не с кем посоветоваться, спросить мнение, нет команды
- Нет уверенности в правильном пути, т.к. нет опыта, дорожка не проторенная

Что можно с этим сделать? Ведь хочется же развиваться, расти, становиться богаче, профессиональнее, а то и вовсе сменить сферу деятельности?

Вот какие ответы я нашел для себя:

1) Привяжите своё дело к своим ценностям. Сформулируйте их как можно подробнее и полнее. Во что вы верите, что вас вдохновляет, чего вы хотите от жизни, какие достижения для вас значимы? Если ваше дело недостаточно отвечает этим ценностям, оно, скорее всего, умрёт.

2) Делайте задачи, отвечающие текущему уровню энергии. Почувствовав тупняк, внутреннее сопротивление, остановитесь, оцените уровень физической и умственной энергии и переключитесь на дело, которое больше ему соответствует. Эту технику я подробно описывал ранее.

3) Создайте мотивирующее пространство, атмосферу, побуждающую двигаться в нужном направлении. Когда вы оказываетесь в бассейне, вам поневоле хочется плыть или хотя бы бултыхаться, не так ли? Так же должно быть дома: кабинет или хотя бы угол со столом, большим монитором (а лучше — двумя), об этом я тоже как-то говорил.

4) Научитесь входить в поток. Заведите такую привычку, ритуал.

5) Всегда ищите, как ещё поднять свою личную эффективность. Рефлексируйте, мониторьте свою энергетику, палите снижение мотивации и анализируйте причины. (Тут маленький пример, как это можно делать.)
Дело должно двигаться. Если оно не движется, значит, надо либо поработать с условиями, либо отказаться от этого дела.

Все эти средства вместе создают систему, образ жизни, способствующий продуктивной деятельности без внешних мотиваторов.

Прослезился...

Приветствую, любители аналитики!

Весной я разработал курс "Временные ряды".

В программу вошли основные понятия (компоненты ряда, свойства и инструменты их анализа) и методы изучения рядов — разные модели прогнозирования, фильтрации, определения корреляционной структуры.
Я постарался на пальцах пояснить математический аппарат и каждую концепцию снабжал Python-скриптами.

Курс создан для аналитиков, жаждущих научиться улавливать в данных неочевидные паттерны и делать сенсационные выводы.

Программа курса небольшая, но ёмкая:
1. Введение в временные ряды: основы
2. Первичное исследование и очистка временного ряда
3. Классические методы моделирования: ARIMA
4. Классические методы моделирования: экспоненциальное сглаживание
5. Декомпозиция временных рядов
6. Фильтрация временных рядов
7. Многомерные временные ряды и причинно‑следственные связи
8. Продвинутые методы прогнозирования временных рядов

Курс запущен на платформе Симулейтив, а я — его ментор. Приглашаю вас к обучению, запишитесь через бот и — увидимся!

Приветствую, любители аналитики!

Продолжаю обновлять Справочник дата-специалиста и сегодня у нас выкатывается новая категория.

Итак, дамы и господа, поприветствуем на сцене — средства визуализации данных!

В этот класс инструментов пока вошли в основном BI-системы, но, полагаю, туда же буду добавлять и всякое другое, например, различные библиотеки питона и других языков, любимых аналитиками.

Заглядывайте!

Приветствую, любители аналитики, из солнечного Сочи!

Пока не кончилось лето, немного анализа развлекательной сферы.

Зацените, какой любопытный нейропост о характеристиках музыки.

Оказывается, если усреднять, можно уловить тенденции в музыке, которые подчиняются определенным законам или правилам. Хотя в итоге оказывается, что эти правила не всегда работают))

Прямо как в бизнес-аналитике.

Приветствую, любители аналитики!

Продолжаю наполнять Глоссарий-справочник дата-специалиста.

Сегодня в эфире пачка инструментов для мониторинга процессов и проверки качества данных.

В набор вошли библиотеки языков программирования, платформы и фреймворки наблюдения (по-англицки — observability platform).

Очень важная тема для тех, кому надо не только циферки перекладывать, но и иметь качественные, то есть правдивые данные, которым можно доверять.
А если вы дата-специалист на любой должности, этот вопрос вас обязательно затрагивает.

Так что открывайте, обозревайте!

Приветствую, любители аналитики!

Лет 20 назад я увлекался Карлосом Кастанедой, прочитал несколько его книг.
У него там много всяких прикольных фэнтезийных оборотов, но сейчас не о них.

Один из посылов учения дона Хуана — индейского мага, о котором Кастанеда писал — в том, что не следует индульгировать.

Человек постоянно теряет энергию из‑за привычек ума: прокручивания обид, сожалений о прошлом, фантазий о будущем, жалости к себе. Всё это Кастанеда относит к индульгированию. Это не просто грусть или переживание, а именно затягивающее повторение одних и тех же состояний, которое фиксирует восприятие и не даёт двигаться дальше.

Вот несколько тезисов об индульгировании.

Растрата личной силы. Энергия, которая могла бы идти на реальные действия или на внутреннее развитие, уходит на «пережёвывание» мыслей и эмоций.

Связь с чувством собственной важности. Жалость к себе, обиды, потребность в подтверждении своей значимости — это формы индульгирования. По Кастанеде, чувство собственной важности делает человека «тяжёлым» и неуклюжим, мешает быть текучим и адаптивным.

Противоположность — безупречность воина. Воин не тратит силы на оправдания, саможаление и бесконечные внутренние диалоги. Его критерий простой: мысль или эмоция должна либо вести к действию, либо отпускаться.

Конечно, не все мы хотим быть "воинами", но мы точно не хотим хандры и депрессии.
Мы хотим хорошо себя чувствовать, иметь ясный ум, ставить цели и достигать их.

И вот вчера, в процессе очередного перемывания своих тревог и напряжений, мне вдруг подумалось, что я занимаюсь индульгированием.

Не нужно циклиться на плохом, принимать на себя лишнюю ответственность, тревожиться о том, что не можешь контролировать.

Лучше вспомнить состояния, в которых тебя прёт, раскопать свои реальные интересы, построить на их базе свой путь и спокойно, уверенно следовать ему. Глядишь, многие проблемы рассосутся и решатся "сами", проиграют твоей сильной позиции.