🦕 Зачем долбить по камням молотком или в поисках аммонитов
У нас в Батуми душно и жарко, поэтому посты на умные образовательные темы пока задерживаются. Но сейчас расскажу про один из самых удивительных хайков, в который я недавно ходил.
Возможно в детстве вы увлекались динозаврами и хотели стать археологом. Так вот я определенно хотел и искренне расстраивался, что они вымерли. Ну и фильмы про Индиана Джонса (и все похожие) тоже играют определеную роль в формировании личности. Поэтому увидев хайкинг, где можно будет поискать аммонитов, которым около 100 млн лет, я (естественно) решил в него пойти.
И вот удалось устроить себе тест драйв жизни палеонтолога. Из неприятных неожиданностей - аммониты не торчат из горы просто так, и чтобы их найти требуется достаточно много удачи и еще больше работы с зубилом и молотком (пострадал лишь один мой палец). Ну и после того как вы в самое пекло поднялись в гору, долбить по камням - это далеко не первое, чем хочется заняться.
Перед тем как начать, мы посидели рядом с ручейком, под мостом века так 11-13, после чего начался увлекательный процесс. Что могу сказать, бить молотком по камням - это прикольно. Особенно когда твоя работа - сидеть за ноутбуком и думать головой, несколько часов такого немного агрессивного занятия на природе - чистый кайф.
Было очень жарко, тяжело, все чего хотелось - это вернуться под такой прекрасный кондиционер, лечь и лежать лежа, поотмокав перед этим под душем. Сейчас я пишу этот пост, на столе лежит килограмм камней с остатками аммонитов и белемнитов, и я определенно сходил бы еще. Потому что исполнять детские мечты, хоть немного, это круто.
А еще мне недавно исполнилось 24 и я первый раз в жизни перешел в брод реку. Как-то до этого не приходилось. В общем, живем по БГ - самое время перейти эту реку в брод.
У нас в Батуми душно и жарко, поэтому посты на умные образовательные темы пока задерживаются. Но сейчас расскажу про один из самых удивительных хайков, в который я недавно ходил.
Возможно в детстве вы увлекались динозаврами и хотели стать археологом. Так вот я определенно хотел и искренне расстраивался, что они вымерли. Ну и фильмы про Индиана Джонса (и все похожие) тоже играют определеную роль в формировании личности. Поэтому увидев хайкинг, где можно будет поискать аммонитов, которым около 100 млн лет, я (естественно) решил в него пойти.
И вот удалось устроить себе тест драйв жизни палеонтолога. Из неприятных неожиданностей - аммониты не торчат из горы просто так, и чтобы их найти требуется достаточно много удачи и еще больше работы с зубилом и молотком (пострадал лишь один мой палец). Ну и после того как вы в самое пекло поднялись в гору, долбить по камням - это далеко не первое, чем хочется заняться.
Перед тем как начать, мы посидели рядом с ручейком, под мостом века так 11-13, после чего начался увлекательный процесс. Что могу сказать, бить молотком по камням - это прикольно. Особенно когда твоя работа - сидеть за ноутбуком и думать головой, несколько часов такого немного агрессивного занятия на природе - чистый кайф.
Было очень жарко, тяжело, все чего хотелось - это вернуться под такой прекрасный кондиционер, лечь и лежать лежа, поотмокав перед этим под душем. Сейчас я пишу этот пост, на столе лежит килограмм камней с остатками аммонитов и белемнитов, и я определенно сходил бы еще. Потому что исполнять детские мечты, хоть немного, это круто.
А еще мне недавно исполнилось 24 и я первый раз в жизни перешел в брод реку. Как-то до этого не приходилось. В общем, живем по БГ - самое время перейти эту реку в брод.
❤7👍7
🔍 Какие методы ML нужно знать аналитику чтобы решать большинство задач бизнеса?
Сейчас все говорят про LLM, Deep Learning и AGI. Но если вы только начинаете, то сразу кидаться изучать это точно не стоит.
Но вообще, надо определиться с целями. Мой пост для тех, кто либо только погружается, либо уже преисполнился в аналитике и хочет начать решать некоторые новые задачи с применением машинного обучения. Хотя я уверен, что несмотря на крутое развитие области, во многих компаниях все ещё крутятся простые линейные модели и тем не менее приносят пользу. А мы как аналитики как раз этим и занимаемся - помогаем бизнесу расти.
Но информации, курсов, книг очень много, и не очень понятно с чего начинать. Предлагаю вооружиться принципом Парето (что 20% усилий дают 80% результата) и начать вот с этих методов:
- Регрессия. Предсказываем непрерывное значение. Применений масса - начиная от предсказания LTV, спроса, заканчивая динамическим ценообразованием.
- Классификация. Предсказываем класс объекта. Используется в большинстве продуктов - предсказание оттока клиентов, выделение спама, вероятности не вернуть кредит.
- Кластеризация. Группировка похожих объектов между собой. Используется для сегментации клиентов, поиска похожих паттернов в поведении.
- Работа с временными рядами. Так же востребовано во многих сферах - прогноз продаж, основных метрик для алертинга, часто используется для финансового планирования.
Если опыта совсем нет, то рекомендую вот эти курсы на kaggle. Это отличное быстрое введение, где можно сразу начать решать небольшие задачи и потрогать ML на практике. Все-таки без понимания основных концептов про работу с данными, метрики, feature engineering, валидацию моделей, подбор гиперпараметров не стоит кидаться бездумно делать fit_predict из условного XGBoost. Поэтому вот:
- Введение в ML
- Intermediate ML
- Feature engineering
- Временные ряды
А вот огромный роадмап и подборка ресурсов по ML. Можно двигаться точечно и искать материалы по мере необходимости, ну или закопаться с головой и пройти вообще все.
Когда база получена, можно постепенно начинать решать свои задачи на работе. А чтобы чуть проще было разобраться с таким огромным кол-вом всего, предлагаю обратить внимание на auto-ml библиотеку PyCaret, где можно предобработать данные, перебрать много моделей и гиперпараметров и получить good enough решение. Ну и всякие дополнительные плюшки в виде интерпретируемости моделей и логирования экспериментов тоже есть.
Примеры, со всеми методами, про которые писал выше.
Сейчас все говорят про LLM, Deep Learning и AGI. Но если вы только начинаете, то сразу кидаться изучать это точно не стоит.
Но вообще, надо определиться с целями. Мой пост для тех, кто либо только погружается, либо уже преисполнился в аналитике и хочет начать решать некоторые новые задачи с применением машинного обучения. Хотя я уверен, что несмотря на крутое развитие области, во многих компаниях все ещё крутятся простые линейные модели и тем не менее приносят пользу. А мы как аналитики как раз этим и занимаемся - помогаем бизнесу расти.
Но информации, курсов, книг очень много, и не очень понятно с чего начинать. Предлагаю вооружиться принципом Парето (что 20% усилий дают 80% результата) и начать вот с этих методов:
- Регрессия. Предсказываем непрерывное значение. Применений масса - начиная от предсказания LTV, спроса, заканчивая динамическим ценообразованием.
- Классификация. Предсказываем класс объекта. Используется в большинстве продуктов - предсказание оттока клиентов, выделение спама, вероятности не вернуть кредит.
- Кластеризация. Группировка похожих объектов между собой. Используется для сегментации клиентов, поиска похожих паттернов в поведении.
- Работа с временными рядами. Так же востребовано во многих сферах - прогноз продаж, основных метрик для алертинга, часто используется для финансового планирования.
Если опыта совсем нет, то рекомендую вот эти курсы на kaggle. Это отличное быстрое введение, где можно сразу начать решать небольшие задачи и потрогать ML на практике. Все-таки без понимания основных концептов про работу с данными, метрики, feature engineering, валидацию моделей, подбор гиперпараметров не стоит кидаться бездумно делать fit_predict из условного XGBoost. Поэтому вот:
- Введение в ML
- Intermediate ML
- Feature engineering
- Временные ряды
А вот огромный роадмап и подборка ресурсов по ML. Можно двигаться точечно и искать материалы по мере необходимости, ну или закопаться с головой и пройти вообще все.
Когда база получена, можно постепенно начинать решать свои задачи на работе. А чтобы чуть проще было разобраться с таким огромным кол-вом всего, предлагаю обратить внимание на auto-ml библиотеку PyCaret, где можно предобработать данные, перебрать много моделей и гиперпараметров и получить good enough решение. Ну и всякие дополнительные плюшки в виде интерпретируемости моделей и логирования экспериментов тоже есть.
Примеры, со всеми методами, про которые писал выше.
❤14👍3
🧙🏻♂️ Почему продуктовый аналитик - далеко не главный специалист по A/B-тестам?
Когда ты аналитик и начинаешь изучать A/B-тесты, то в основном тебе рассказывают про статистику, анализ тестов, возможно немного про культуру экспериментов. Но это всего лишь малая часть работы над тестами, и очень много зависит от платформы экспериментов и связанного с ней.
В некоторый момент развития компании наступает момент, когда тестов запускается столько, что требуется единая система для работы с ними. Причем техническая составляющая определенно важна, но так же важны процессы и культура, которая выстраивается вокруг платформы и помогает структурно и одинаково подходить к запуску экспериментов и контролировать достоверность их проведения.
🧮 Из чего же состоит платформа экспериментов?
- Интеграция с кодом продукта, feature флаги. Разработчики в коде реализуют изменения в тесте и делают так, чтобы в админке в конфиге можно было настроить тест.
- Сплитование. Деление пользователей по бакетам и экспериментам. Критичная часть для корректного проведения экспериментов.
- Админка. Здесь запускается тест, приводятся результаты и происходит взаимодействие с тестом со сторона аналитика или продакта.
- Хранилище данных. Тесты связаны с большим кол-вом пользовательских и технических событий, которые надо где-то хранить, да еще и оптимально.
- Витрина метрик. По сырым данным считаются метрики для каждого теста и хранятся в отдельных витринах.
- Анализ результатов. Вся статистика, подсчет анализов тестов, их ускорение, в общем, некоторый аналитический backend.
- Дашборды с результатами. Выводится динамика метрик и результаты тестов.
💡А чтобы более подробно с этим разобраться, привожу статьи от топовых компаний:
- Авито
- Ozon
- ОК
- Uber: Раз, Два
- Spotify: Раз, Два
- Airbnb
- Netflix
- LinkedIn: Раз, Два
Как вы думаете, надо ли аналитику разбираться в устройстве платформ экспериментов? Делитесь в комментариях!
Когда ты аналитик и начинаешь изучать A/B-тесты, то в основном тебе рассказывают про статистику, анализ тестов, возможно немного про культуру экспериментов. Но это всего лишь малая часть работы над тестами, и очень много зависит от платформы экспериментов и связанного с ней.
В некоторый момент развития компании наступает момент, когда тестов запускается столько, что требуется единая система для работы с ними. Причем техническая составляющая определенно важна, но так же важны процессы и культура, которая выстраивается вокруг платформы и помогает структурно и одинаково подходить к запуску экспериментов и контролировать достоверность их проведения.
🧮 Из чего же состоит платформа экспериментов?
- Интеграция с кодом продукта, feature флаги. Разработчики в коде реализуют изменения в тесте и делают так, чтобы в админке в конфиге можно было настроить тест.
- Сплитование. Деление пользователей по бакетам и экспериментам. Критичная часть для корректного проведения экспериментов.
- Админка. Здесь запускается тест, приводятся результаты и происходит взаимодействие с тестом со сторона аналитика или продакта.
- Хранилище данных. Тесты связаны с большим кол-вом пользовательских и технических событий, которые надо где-то хранить, да еще и оптимально.
- Витрина метрик. По сырым данным считаются метрики для каждого теста и хранятся в отдельных витринах.
- Анализ результатов. Вся статистика, подсчет анализов тестов, их ускорение, в общем, некоторый аналитический backend.
- Дашборды с результатами. Выводится динамика метрик и результаты тестов.
💡А чтобы более подробно с этим разобраться, привожу статьи от топовых компаний:
- Авито
- Ozon
- ОК
- Uber: Раз, Два
- Spotify: Раз, Два
- Airbnb
- Netflix
- LinkedIn: Раз, Два
Как вы думаете, надо ли аналитику разбираться в устройстве платформ экспериментов? Делитесь в комментариях!
❤15👍3
📈 Как прогнозировать временные ряды с помощью машинного обучения (и зачем)?
Временные ряды возникают часто и в разных задачах бизнеса. Одна из основных задач, с которой может столкнуться продуктовый аналитик - сделать прогноз метрик. Это могут быть как финансовые показатели, которые используются для планирования, так и метрики продукта, за которыми непосредственно вам необходимо следить. Вы также можете настроить алертинги на отклонение факта от прогноза и понимать, когда что-то идет не так.
Ну и в целом, круто же немного заглянуть ненадолго в будущее (хотя я не уверен что хотел бы его знать сейчас)?
🔍 Существует несколько основных подходов:
- Эконометрические или традиционные. Это rolling window, экспоненциальное сглаживание, ARIMA, BATS и многочисленные вариации этих методов. Требуется некоторая экспертиза в понимании временных рядов чтобы корректно их настроить.
- Машинное обучение. Подход прост - вы формируете табличный дотасет из временного ряда (используя лаги и другие параметры в виде фичей) и обычными регрессионными моделями предсказываете следующее значение. Можно использовать линейные модели, бустинги и блендинг нескольких моделей. Важно хорошо собрать датасет и подобрать фичи для обучения.
- Нейронные сети. Применяются рекуррентные нейронки, трансформеры и много чего еще.
💡 Как к этому подступиться? Могу порекомендовать вот такие материалы, которые позволят начать решать ваши задачи:
- Небольшой вводный курс на kaggle
- Отличная статья из открытого курса от ODS, подходы все еще актуальны
- Лекция от вышки
🔨 И непосредственно инструменты:
- Sktime - библиотека с основными методами работы с временными рядами
- Prophet - библиотека от meta. Я бы начинал пробовать что-то предсказывать с нее
- NeuralProphet - Prophet на стероидах (с использованием нейронок)
- Pycaret - auto-ml библиотека, вот пример работы с рядами
- Chronos - новая разработка от amazon, стоит попробовать
А какие задачи вы решали с помощью предсказания временных рядов? Делитесь в комментариях!
Временные ряды возникают часто и в разных задачах бизнеса. Одна из основных задач, с которой может столкнуться продуктовый аналитик - сделать прогноз метрик. Это могут быть как финансовые показатели, которые используются для планирования, так и метрики продукта, за которыми непосредственно вам необходимо следить. Вы также можете настроить алертинги на отклонение факта от прогноза и понимать, когда что-то идет не так.
Ну и в целом, круто же немного заглянуть ненадолго в будущее (хотя я не уверен что хотел бы его знать сейчас)?
🔍 Существует несколько основных подходов:
- Эконометрические или традиционные. Это rolling window, экспоненциальное сглаживание, ARIMA, BATS и многочисленные вариации этих методов. Требуется некоторая экспертиза в понимании временных рядов чтобы корректно их настроить.
- Машинное обучение. Подход прост - вы формируете табличный дотасет из временного ряда (используя лаги и другие параметры в виде фичей) и обычными регрессионными моделями предсказываете следующее значение. Можно использовать линейные модели, бустинги и блендинг нескольких моделей. Важно хорошо собрать датасет и подобрать фичи для обучения.
- Нейронные сети. Применяются рекуррентные нейронки, трансформеры и много чего еще.
💡 Как к этому подступиться? Могу порекомендовать вот такие материалы, которые позволят начать решать ваши задачи:
- Небольшой вводный курс на kaggle
- Отличная статья из открытого курса от ODS, подходы все еще актуальны
- Лекция от вышки
🔨 И непосредственно инструменты:
- Sktime - библиотека с основными методами работы с временными рядами
- Prophet - библиотека от meta. Я бы начинал пробовать что-то предсказывать с нее
- NeuralProphet - Prophet на стероидах (с использованием нейронок)
- Pycaret - auto-ml библиотека, вот пример работы с рядами
- Chronos - новая разработка от amazon, стоит попробовать
А какие задачи вы решали с помощью предсказания временных рядов? Делитесь в комментариях!
❤17
Неожиданно выяснил, что сегодня день кошек. А так получилось, что мы в Турции, где их особенно много, поэтому ловите подборку. Там правда еще одна смешная собака (если вы знаете, почему они спят лапами вверх, объясните мне), которая на мой взгляд заслуживает упоминания. Кстати, с котом, который пытается сброситься со скалы, все ок (в плане, не сбросился).
А еще у меня наконец-то отпуск. Так что считаю, что имею полное право постить в блог по аналитике котиков. И это первая неделя с выходными, когда я никуда не ездил. Частично этому способствует адская жара днем в Анталии, но также сказывается усталость от года непрерывных путешествий.
И когда твое любимое развлечение - куда-то поехать, очень странно ловить себя на мыслях, что ехать то никуда уже не хочется. А хочется разгрузить мозг от постоянных эмоций (а вместе с ними и стресса от переездов, неопределенности и горизонта планирования в месяц). В общем, цифровым кочевником быть круто, но хорошо при этом иметь дом, куда можно вернуться, выдохнуть и расслабиться.
И рекомендасьон напоследок - видео про Анталью от Владимира Раевского, про то, что тут далеко не только олинклюзив. Сам был на руинах города Перге, и это конечно абсолютный восторг, ходишь как будто сквозь века. Так что не отелями с бассейнами едины, но и повтыкать в стену иногда тоже надо.
А еще у меня наконец-то отпуск. Так что считаю, что имею полное право постить в блог по аналитике котиков. И это первая неделя с выходными, когда я никуда не ездил. Частично этому способствует адская жара днем в Анталии, но также сказывается усталость от года непрерывных путешествий.
И когда твое любимое развлечение - куда-то поехать, очень странно ловить себя на мыслях, что ехать то никуда уже не хочется. А хочется разгрузить мозг от постоянных эмоций (а вместе с ними и стресса от переездов, неопределенности и горизонта планирования в месяц). В общем, цифровым кочевником быть круто, но хорошо при этом иметь дом, куда можно вернуться, выдохнуть и расслабиться.
И рекомендасьон напоследок - видео про Анталью от Владимира Раевского, про то, что тут далеко не только олинклюзив. Сам был на руинах города Перге, и это конечно абсолютный восторг, ходишь как будто сквозь века. Так что не отелями с бассейнами едины, но и повтыкать в стену иногда тоже надо.
❤11