Чем дольше я работаю на стыке управления продуктами и анализа данных, тем больше удивляюсь, насколько эти профессиональные области близки и дополняют друг друга.

Вот, к примеру, пишет Антон в своем канале про пользовательские исследования о полезной литературе для специалистов этой сферы. А я смотрю и понимаю, что ее можно применить, как при создании продукта, так и для разработки аналитического решения (откровенно говоря, для общего развития тоже).

В таком вот удивительном мире живем.

P.S. К своему неудовлетворению, читал меньше половины, но многое есть в бэклоге на этот год.

#книжное #компетенции

📚🧐🎓#Книги #Полезное
Оказывается, что для публикации списка книг нужно пойти в отпуск, почти всё время заниматься другими делами, а лишь утром в воскресенье взять подготовленный 3 недели назад список и дописать пост 😅
Я постарался подобрать не самые очевидные книги, но сразу скажу, что все из них я читал и лишь одной у меня нет в бумажном виде. Я не претендую на экспертность, поэтому прошу отнестись к списку со скепсисом.

Must-read пользовательских исследований:
🔸Спроси маму. 🔗Ссылка
Кажется, что все эту книгу рекомендуют, но я включил её в свой список не только по этому. В ней есть принципиально важные аспекты того, как нельзя задавать вопросы.
🔸Четыре шага к озарению. 🔗Ссылка
Я считаю эту книгу главной для получения представления о разнице между User Research и Customer Development. Многие думают, что это одно и то же, но нет. В России больше используют термин custdev, но понимают под этим User Research.
🔸Исследование трендов. 🔗Ссылка
Кабинетные исследования никто не отменял, а глобальные этнографические или антропологические и подавно. Эта книга одна из немногих на русском языке про trend watching. Очень понравится дизайнерам, как ни странно.

Про продукты:
🔸Вдохновленные. 🔗Ссылка
Если продакт вам не рассказывает про свои задачи или вам кажется, что “продакты не нужны” (отсылка для тех, кто понимает 🙃), то вот простым языком написанное руководство для желающих подразобраться.
🔸От нуля к единице. 🔗Ссылка
Книга посвящена вопросам запуска совсем новых стартапов и продуктов. Питер Тиль очень много инвестировал в такие и весьма удачно. Смысл в том, что придумать принципиально новое и построить из этого бизнес сложнее, чем в дальнейшем это развивать.
🔸Дилемма инноватора. 🔗Ссылка
Я очень доволен, что когда-то догадался эту книгу прочитать. В ней очень интересно и с примерами разобрано развитие нескольких отраслей в Америке (дисковые накопители, экскаваторы). Причём фокус сделан именно на важности и влиянии внедрения инноваций.

Про UX:
🔸Интерфейс. 🔗Ссылка
Я признаю, что эта книга во всех отношениях устарела, но она до сих пор открывает глаза доморощенных UX-ров, которые считают, что “это не rocket science”. Ещё какой… Пусть почитают, как нужно было изощряться, когда тачскрина и огромных экранов не было. Вот где UX, так UX.
🔸Не заставляйте меня думать. 🔗Ссылка
А эту книгу обычно рекомендуют начинающим UX-проектиорвщикам, чтобы начать формировать верное представление об их профессиональной стязе. В своё время именно она стала моей первой книгой про UX.
🔸Интерфейс. Основы проектирования взаимодействия. 🔗Ссылка
Специально предлагаю самую толстую книгу Алана Купера. Пожалуй, именно она показывает большинство задач, которые должен решать UX. Да, метод персон Купера кому-то не нравится, но это не повод книгу не читать.

Про мышление:
🔸Думай медленно... решай быстро. 🔗Ссылка
Топ-1 книга про наши ошибки в принятии решений.
🔸Азбука системного мышления. 🔗Ссылка
Очень рекомендую почитать людям, которые всегда лучше всех знают, как и куда перераспределить бюджет, каких поставщиков поменять и т.д.
🔸Я хочу больше идей. 🔗Ссылка
Страдаете от сложностей в методическом подходе к придумыванию идей? Вот вам нормальное руководство, в котором дивергентное, латеральное и конвергентное мышление не только описано, но и техники для каждого есть.
🔸Придумай. Сделай. Сломай. Повтори. 🔗Ссылка
Очень прикольная книга про дизайн-мышление с большим набором техник. Каждая техника на одном развороте. Есть базовые и для User Research.

📚🧐🎓#Книги #Полезное (продолжение)
Про коммуникации:
🔸Ненасильственное общение: Язык жизни. 🔗Ссылка
Чем приятнее и проще с вами коммуницировать, тем больше информации вам удастся получить у респондента. Кроме того, есть терапевтический эффект от прочтения 😉
🔸Эмоциональный интеллект руководителя. 🔗Ссылка
Очень много книг про эмоциональный интеллект. Но Гоулман, например, не является автором концепции, а вот эти дядьки являются.
🔸Язык телодвижений. 🔗Ссылка
Невербалика иногда несёт даже больше информации, чем речь, так что не забывайте про это, а то Кэл Лайтман обидится.
🔸Отчаянные аккаунт-менеджеры. 🔗Ссылка
Считаю эту книгу одной из самой полезной в работе с людьми. Конечно, с клиентами нужно правильно взаимодействовать, но как это правильно? В какие каналы и что писать? Как напомнить о себе? Читаем Бориса, он задолбался своих сотрудников учить и написал книжку.
🔸Я манипулирую тобой. 🔗Ссылка
Думаю, что Непряхина многие знают, так что просто скажу, что это выдающийся труд по осознанию манипуляций. Очень помогает в переговорах или на интервью. Вдруг вы вынуждаете респондентов отвечать нужным вам образом?
🔸Пиши, сокращай. 🔗Ссылка
Просто прочитайте эту книгу и улучшите качество своей переписки. Честное слово, иногда так подгорает от писем или чатов, что приходится несколько минут в себя приходить.
🔸Лаборатория презентаций. Формула идеального выступления. 🔗Ссылка
Умеете презентации делать и выступать с ними? Гандапас ваше всё? А может даже Нэнси Дуарте знаете? Эта книга для меня стала базой для подготовки тренингов по разработке презентаций. Очень системно.

Неочевидное:
🔸Стратегическое сафари. 🔗Ссылка
Я остался в восторге от этой книги. В ней по полочкам разложены основные школы стратегирования. Не техники, которые в интернете называются стратегией, а именно концептуальные школы. Пользовательские исследования являются важным этапом формирование стратегии компании, так что хорошо бы понимать их место.
🔸8 важных свиданий. Как создать отношения на всю жизнь. 🔗Ссылка
Странно? А вот вам 8 планов интервью с любимым человеком, чтобы понять, насколько вы друг другу подходите. User Research в лучшем виде. А если ещё продуктовый подход к отношениям применить, то вообще огонь: два продакта, пользователи продукта всегда в доступе. Проводи качественный анализ и планируй изменения в продукте с комфортной периодичностью.

Очень понравилась идея реализовать визуализацию населения городов, что называется, "во плоти".

На картинке часть экспозиции музея "The Museum of Fine Arts in Houston, Texas". Вот тут есть больше фотографий.

Всего тут 24 города, для каждого из которых сделан арт-объект на базе причудливого 3D violin-plot или чего-то похожего на него (поправьте, пожалуйста, если ошибаюсь).

Немного подробностей есть в статье.

🔗Ссылка

#визуализации

Ребята из Lamoda поделились базовым роудмапом для тех, кто хочет вкатиться/перекатиться в инжиниринг данных.

Материалы, в общем-то, не первый день известны в узких кругах, но собрано и описано все очень аккуратно. Могу только присоединиться к рекомендациям коллег.

Многое из этого смотрел или проходил сам, плюс по каждой теме есть материалы на русском.

🔗Ссылка

#учебное

Много страшных слов.

В нашей сфере используется больше количество терминов, аббревиатур, словосочетаний. Многие из них англоязычные и не имеют вменяемого перевода (это боль и тема для отдельного поста).

Дима Аношин написал пост, в котором дал определения для некоторых сложных случаев. За что ему отдельное спасибо.

Я могу только дополнить его взгляд статьей "Data Warehouse vs. Data Lake vs. Data Streaming: Friends, Enemies, Frenemies?". В ней автор раскладывает по полочкам хранилища, озера данных, их гибриды и разные сценарии использования.

Главные мысли:
🔹Data Warehouse - для отчетности и BI;
🔹Data Lake - для анализа больших данных и машинного обучения;
🔹Data Streaming - для сценариев, когда действительно надо в реальном времени делать выводы о каких-то событиях.
🔹Децентрализованные архитектуры (вроде того же Data Mesh) - для всего остального.

P.S. Картинка по самому мудреному способу хранения - LakeHouse - из блога databricks.

🔗Ссылка

Машу я знаю давно, она классно пишет про качество сервиса, всякие руководительские штуки и разбавляет это поучительными историями.

В этот раз история вышла злободневная - про найм джунов-аналитиков в 2022.

В 2014-2015 годах, когда мы нанимали людей в ту же самую, между прочим, группу аналитики, ключевой проблемой кандидатов тоже было фундаментальное непонимание роли аналитики и того, кто и как пользуется ее результатами.

В общем, времена меняются, проблемы остаются.

А вот Excel тогда еще не презирали, правда и такого количества онлайн-школ и курсов с обещаниями зп 100+ к в секунду не наблюдалось.

#компетенции #каналы

Об аналитиках

В этом году мы с @AliceMatiss искали джуниора в группу аналитики, и это было интересно, но непросто.

Кого мы увидели:
➕ Ребят, которым очень хочется освоить новую сферу и которые для этого готовы учиться и много работать.
➕ Ребят, которые уже прошли различные курсы, попробовали хотя бы в учебном формате Python и SQL, визуализацию и рекомендации.
➖ Ребят, которые считают Excel бесполезным инструментом (но мы-то с вами знаем истину!)
➖ Ребят, которые не думают о конечном Заказчике, и о том, чьими глазами стоит смотреть на результат.

В очередной раз утвердилась в том, что аналитики, которые находятся внутри саппорта и регулярно общаются с Клиентами по собственной отчетности, - это замечательно.
Это возможность постоянно замечать, как разные люди смотрят на одни и те же данные, слышать фидбэк от реальных пользователей и иметь возможность вносить корректировки сразу.

▪️ Ведь смысл-то, как известно, не в том, чтобы показать, какими инструментами ты умеешь пользоваться.
А в том, чтобы помогать людям видеть за красивыми дашбордами ответы. Ответы, которые помогают принимать решения.

Ежегодный обзор того, какое количество данных генерируется в интернете за одну минуту.

Если до этого не видели - числа поражают.

Итоги представлены в виде инфографики, к понятности которой есть вопросы, но по цветам красиво (и темная тема - ❤️).

Качество в телеграме будет шакальное, вот прямая ссылка на картинку.

🔗Ссылка

#визуализации

Мне понравилась простая классификация аналитиков из статьи "Storytellers and System Builders".

Автор выделяет 2 мета-роли:

📊 Рассказыватели историй
Они больше про помощь бизнесу в принятии решений, построение дашбордов и визуализаций, донесение информации и убеждение.

🛠 Строители систем
Они больше про аналитические решения и платформы, пайплайны, повышение качества данных, в общем что-то более "дата-инженерное".

Такой подход позволяет:
🔹хоть как-то систематизировать то количество ролей/должностей, которое сейчас существует в профессии (автор насчитал 12 реальных и еще одну шуточную, но я встречал списки и побольше);
🔹лучше распределить задачи в команде исходя из компетенций сотрудников;
🔹строить карьерные пути и планы развития исходя из предрасположенности людей к тем или иным задачам;
🔹заставлять их всех работать вместе на основании более четкого распределения ответственности.

У меня в голове крутится мысль, что это какое-то аналитическое переосмысление ролей фронтенда и бэкенда (но это не точно).

🔗Ссылка

#компетенции

Сегодня и завтра меня, при желании, можно найти на Product Sense.

Четвертый раз подряд и первый раз в оффлайн, удалось выбраться в последний момент.

#конференции

Вопреки всему, что происходит, поеду на Матемаркетинг 2022, второй год подряд в очном формате.

В прошлом году познакомился лично с классными ребятами, в том числе теми, чьи каналы раньше только читал. И даже немного порефлексировали с Сашей про тренды по итогам.

В этот раз тоже попробую. Захотите пообщаться - пишите.

По ссылке ниже Леша раздает бесплатные билеты с онлайн-доступом к части докладов, в том числе и тем, которые стартуют сегодня и завтра.

🔗Ссылка

#конференции

Нашел прикольную штуку для создания дата-пайплайнов прямо из интерфейса JupyterLab - Elyra.

Причем интересно, что собирать их можно не только из готового кода, но еще и из самих ноутбуков, а также каких-то базовых действий над элементами (скачать, сгруппировать, разделить, соединить файлы и тому подобное).
А еще можно пробросить выполнение пайплайна в оркестраторы вроде Airflow или даже (прости, господи) Kubeflow.

Кажется перспективной штукой, буду подробнее изучать.

В статье ниже можно посмотреть как это выглядит в интерфейсе.

🔗Ссылка

#инструменты

Тренды на год по многим темам публикуют уже пару месяцев. Достойных материалов пока не очень много.

Сегодняшняя статья про будущее Data Engineering, тем не менее, в порядке.

7 трендов из нее:
🔹 Команды будут больше фокусироваться на оптимизацию затрат на облака и инфраструктуру (что поделать, кризис);
🔹 Роли аналитиков будут дальше уходить в специализацию;
🔹 Несмотря на децентрализацию и прочие data mesh, общие платформы обработки данных продолжат развиваться;
🔹 Больше половины разрабатываемых ML-моделей успешно дойдут до продакшена;
🔹Начнут внедряться дата-контракты;
🔹Все больше будет размываться грань между DWH и DL-подходами (привет, DataLakeHouse);
🔹Время исправления аномалий и проблем с качеством данных будет снижаться (думаю, это связано с более активных внедрением observability, governance, lineage и всего такого).

🔗Ссылка

#тренды

Любителям разного рода трендов могу также порекомендовать вот такой сайт-агрегатор от компании Spacecadet. Доступны материалы за 2023, 2022 и 2021 годы.

На этот год по нашей предметной области там, кажется, только отчеты Gartner, прикрытые обязательным заполнением формы:
- Gartner’s 100 Data Analytics Predictions 2025;
- Gartner’s IT Roadmap For Data And Analytics 2023 (прямая ссылка на файл, спасибо Максиму из комментов к посту)

Правда мне на корпоративную почту их после заполнения так и не прислали (может она недостаточно корпоративная или я еще чем-то еще не угодил).

Ну и есть что-то красивое с цветами.

Зато много интересного из смежных сфер - технологии, дизайн, маркетинг и прочее (вроде рынка инфлюенсеров Китая). Не все хорошего качества, но ожидать его от большого списка было бы странно.

🔗Ссылка

#тренды

Мой товарищ Антон написал монструозную статью про то, что такое MLOps. Это результат более чем двухлетнего погружения в тему и изучения многочисленных источников.

Для справки: MLOps - это DevOps из мира ML, стандартизация разработки, обслуживания ML-моделей в продакшене или же "операционализация моделей машинного обучения".

По-простому: это когда модель не только накодили, обучили и начали использовать в каком-то боевом приложении, но еще и выстроили пайплайны для ее мониторинга, обновления и переразвертывания.

В статье помимо определений и истории развития MLOps можно найти следующее:
🔹несколько моделей уровней зрелости;
🔹огромную технологическую схему;
🔹описание основных процессов;
🔹генерируемые артефакты;
🔹взгляд на это все как на классическую информационную систему;
🔹мемасики.

В общем, все очень по-взрослому (кроме последнего пункта, конечно).

Я не видел аналогов на русском языке ни по объему, ни по качеству, если они есть - пришлите, пожалуйста.

🔗Ссылка

#MLечное

Обзор российского рынка Business Intelligence от TAdviser, которые, кажется, реально хотят стать еще одним Гартнеро-заменителем (напомню, что есть еще ежегодные обзоры рынка от Сnews).

Правда, итоги и основные числа пока только за 2021 год:
🔹объем рынка около 45 млрд рублей;
🔹рост год к году 16%;
🔹есть топы крупнейших вендоров и интеграторов;
🔹а еще собрана статистика по аудитории телеграм-каналов конкретных решений (и западных и отечественных) - не знаю, что она должна показать, но такого еще не видел.

Тренд года угадать несложно - импортозамещение (прогноз роста выручки российских решений составляет 10-12%)

🔗Ссылка

#исследования #business_intelligence #анализ_рынка

Matt Turck с коллегами запилили ML/AI/Data Landscape по состоянию на начало 2023 года. Теперь у этого артефакта есть классная аббревиатура MAD, которая отлично отражает всю сущность мира инструментов для анализа данных.

Отчет состоит из 4 частей:
🔹Part I: The Landscape;
🔹Part II: Market trends: Financings, M&A and IPOs;
🔹Part III: Trends in data infrastructure;
🔹Part IV: Trends in ML/AI.

В этом году проявилась еще и интерактивная версия.

Про прошлую версию я что-то писал тут.

#инструменты #анализ_рынка

Чем больше я смотрю на плагины и расширения Jupyter Notebook, тем больше убеждаюсь, что аналитиков хлебом не корми - дай пооптимизировать что-то.

Например, c помощью Mito можно работать с датафреймами как с Excel/Google Sheet с кнопочками, фильтрами, сводными таблицами и прочими удобствами.

Эта штука еще и код за тебя попишет. Зачем пихать это все прямо внутрь Jupyter для меня загадка, но какие-то простые вещи действительно удобно делать кнопочками без кода. Кажется, как обычно, лень - двигатель прогресса.

У инструмента есть аналоги, как минимум - bamboolib и dtale. Про различия можно почитать, например, в статье на Хабре.

Пощупал все три и Mito, в итоге, понравился больше (хотя все еще считаю это все извращением). Видео-демка и документация есть на сайте разработчиков. В дополнение можно почитать восторженные отзывы с medium по ссылке ниже:

🔗Ссылка

#инструменты

Собрали с коллегами дайджест материалов про работу с данными и машинным обучением, которые показались нам интересными. Накопилась критическая масса с начала года.

Аналитического и ML-ного примерно серединка-наполовинку, плюс какие-то материалы вы уже могли видеть в моем канале.

Вот то, о чем я мог бы, но не собрался написать подробнее:

🔹Рассуждения Benn Stancil о том, как скоро генеративные модели заменят аналитиков;
🔹Кейсы Леруа Мерлен и Почтатеха о построении enterprise дата-платформ;
🔹Новость о покупке Dbt BI-инструмента Transform;
🔹Итоги 2022 года по версии DB Engines;
🔹Подборки сервисов для исследования/визуализации данных и полезных репозиториев для дата-саентистов;
🔸Много материалов по ML/MLOps, в которых я разбираюсь похуже, но, благо, есть специально обученные люди 😉.

🔗Ссылка

#дайджест #MLечное #инфраструктурное

Продолжаю копаться в новых инструментах для аналитиков.

Если в прошлый раз мы сами заталкивали Google Sheets в Jupyter, то сейчас за нас уже затолкали Python в аналог Google Sheets: Neptyne.

Получается, что у нас обычная электронная табличка с одной стороны, IDE с другой и чуть пониже окно запроса в местный "AI" (куда уж без этого).

То есть в одном окне можно спросить у нейросети население всех стран, написать эксельные формулы для базовых вычислений, а потом кодом переобразовать в dataframe, обработать pandas-ом и вывывести обратно в табличку.

Пока даже пускают бесплатно попробовать. По ссылке ниже чуть подробнее рассказывают про инструмент (хотя на сайте все и так довольно наглядно).

🔗Ссылка

#инструменты