Что бы я делал, если бы был джуном

Сейчас быть выпускником универа или курсов по дата саенсу и искать свою первую работу намного более сложно и херово, чем раньше.
Рынок изменился. Я чувствую это в воде, чувствую это в земле, ощущаю в воздухе… Многое из того, что было — ушло. И не осталось тех, кто помнит об этом.

Что происходит с рынком?
Компании перестали искать толпы джунов.
Бизнес-климат сейчас такой, что больше людей ≠ больше результата. Корреляция между количеством сотрудников и успехом слабеет с каждым годом.

Что это значит?
♦️Один хороший миддл/сеньор будет работать лучше и быстрее, чем толпа джунов, а значит, и обойдется дешевле. Тимлид потратит намного больше ресурсов на то, чтоб научить джуна, перепроверить за ним, а потом еще и все переделать.
♦️Тратить время на джуна, пусть и недорогого, погружать его в контекст бизнеса, только чтоб через пару лет он ушел миддлом в другую компанию, которая будет платить ему больше? Ну такое.

А как же воспитать под себя?
Сейчас это экономически нецелесообразно.
Компании полезнее найти не человека, который хорошо умеет делать одну вещь, а специалиста, который повидал некоторое дерьмо.
Это необязательно большой опыт в определенной индустрии, на определенной должности или с определенными инструментами. Это человек, который поделал всякое:
✅Поработал в разных контекстах
✅Умеет взаимодействовать с разными стейкхолдерами
✅Научился не только понимать и ставить задачи, но и определять их место и необходимость в общей картине бизнеса
✅И сам стрелял, и в него стреляли, и упал в лужу, и рыбку съел, ну вы поняли.

Что актуально сегодня?
На курсах и в универах учат моделям в порядке эволюции: линейные регрессии, decision trees и так далее. Это правильно, но… Эти модели — как прописи: они нужны, чтобы научиться, но никто в здравом уме не начинает data science проект с линейной регрессии.

Если бы я учился заново, я бы подходил с продуктовой стороны.
♦️Математика необходима, но только как инструмент.
♦️Надо не просто знать алгоритмы, а понимать, зачем они нужны.

AI уже может делать за вас базовые технические задачи: строить модули для моделей, кое-как автоматизировать процессы, генерировать прогнозы. Но он не знает, нужно ли это бизнесу. Алгоритм не знает целей вашей компании и чего хотят ваши пользователи. А хороший специалист понимает продуктовый контекст, видит цели компании и может найти идеальное решение там, где AI даст формально правильный ответ, но не учтет крайне важные детали.

Совет джунам:
Смотрите шире. Да, техническая база важна, но вам вряд ли придётся углубляться в математику за loss-functions или пользоваться SVD.
Учитесь думать как продакт. Видеть бизнес. Понимать, зачем нужна задача и как она повлияет на общую картину.
Не будьте просто Data Scientist, будьте Data Product Architect.

Отправляйте знакомому джуну, пусть он немного смотивируется 🙃

Как не обмануть самого себя

Допустим, мобильная игра запустила новый виртуальный item. Продажи в тестовой группе взлетели! Продакты радостно пишут в отчёте: «Item классный! Покупают лучше, чем всё остальное!»

А потом оказывается: выручка-то не выросла.

Почему?

Потому что пользователи просто переключились на новый item, а старые перестали покупать. Средняя выручка осталась на месте. Но кто-то умудрился на полном серьёзе назвать это ростом и даже продал это начальству.

Или другой сценарий: фича запущена, тесты показали результат, всё вроде бы ок. Все довольные пошли заниматься другими делами. Продакты ушли работать над чем-то новым, дата-саентисты написали модель и забыли — а фича собирает баги и медленно умирает.

Оставлять фичу без присмотра нельзя. Это распространённая ошибка: в погоне за новыми идеями стартапы забывают про то, что уже сделали.

Что с этим делать?
➡️ Смотреть на общую картину, а не только на цифры новой фичи.
➡️ Назначать ответственных за поддержку и развитие каждой фичи.

Без оунера фича не просто деградирует — она становится ещё одной проблемой, которую потом все будут героически решать.

Коллеги, я раздуплился!

Получайте итоги года: немного по делу, немного по фану.

🌟 Бизнес и работа
1. Оказалось, почти каждый клиент уверен, что Data Science в его индустрии или в его конкретном продукте уникальна. Хорошо, что это не так. Дата саентисты — это сантехники с одним и тем же чемоданчиком инструментов, хоть все унитазы и смесители разные.
2. Консалтинг оказался отличным выбором для бизнеса: берёшь сложную проблему и решаешь её. Мне весело, потому что у меня шило в попе и мне нужны новые задачки и контексты. Клиентам весело, потому что проблема решена. И деньги на еду дают — о чем еще мечтать?
3. Сделали свою модульную библиотеку и сэкономили кучу времени. Пожалуй, самый полезный инструмент года, теперь у нас есть свой паноптикум.

🌟 Продукты и эксперименты
1. Real time recommender systems и других похожих решений мы в этом году сделали столько, что теперь можем качественно клепать их в новогоднюю ночь на рейве в Берлине.
2. Запустил этот Telegram-канал — шуток про пенисы больше, чем лидов. Но зато здесь все мои любимые подписчики, которые взаимодействуют с контентом и совершают целевые действия, за что вам большое спасибо.
3. Миллиона лидов из этого канала в целом не случилось. Если 2025 не изменит картину, будем выкладывать фото наших стоп (это угроза).

🌟 Личная эффективность
1. Ледяные ванны по утрам добавляют столько фокуса и энергии, что я не понимаю, почему это социальная одобряемая вещь, а не что-то с репутацией микродозинга.
2. Reclaim — реально очень полезный инструмент, с которым ну очень тяжело накосячить. Это не реклама (никто в здравом уме не купит рекламу в русскоязычном Телеграм-канале на 250 человек).
3. Качественный отдых, конечно, ничто не заменит. Но если возможности делать большие перерывы и отключаться нет, то переключение между разными задачами — это реально спасение.

🌟 Команда
1. Все отлично, до тех пор пока ты не пытаешься сам нанимать людей на те вещи, в которых ты ничего не понимаешь. Мы вот сами пошли к консультанту прежде чем нанять человека в маркетинг, и посмотрите, какие потрясающие тексты выходят в нашем канале.
2. В управлении ASAO DS, в основном, два человека: я и Ксюша (если ещё не смотрели подкаст с ней, поскрольте вверх и посмотрите). Заранее договориться обо всём, включая план на случай жёсткого конфликта, — это то, что спасает нас от проблем. Как в начале отношений полезно проверить, совпадаете ли вы по каким-то важнейшим вещам и ценностям, так и в совместной работе важен долгий разговор на берегу. В том числе о том, что вы сделаете, если совсем разосретесь (мы еще не там, но план на этот счет у нас есть).
3. Вывел важное правило найма в команду: уметь шутить тупые шутки. Это не просто culture fit, а я бы даже сказал вайб-чек.

🌟 Клиенты
1. Когда приходишь в компанию консультантом, зачастую видишь, как люди дерутся за власть вместо того, чтоб работать. Рабочий процесс похож на бюджетную «Игру престолов». Консультант должен понять, кто с кем в альянсе, а кто против кого, не дать себя затянуть в этот хаос, еще и проблему бизнеса решить.
2. Клиенты чаще всего приходят, когда проблемы уже набрали критическую массу, когда уже из-за размера живота не могут надеть носки. Задача на 2025 — придумать, как привлекать клиентов, которые близки к такой судьбе, но они пока этого не знают.
3. Очень часто в 2024 бывало такое, что клиенты думали, что им надо одно, но после пары разговоров мы вместе приходим к совершенно другому решению. Кто-то приходит за ML, а там нечего и не на чем обучать, а вот процессы пора бы перестроить — это мы и делали.

🌟 Хобби и интересы
1. Аудиокниги спасли мой читательский год. Недавно вот переслушал «Историю западной философии» Бертрана Рассела, пока пытался на ветру раскрыть пакетик для собачьих какашек.
2. Уже говорил, но скажу еще раз. Я вернулся к ледяным ваннам. Лежу по пять минут и чувствую себя одновременно очень хорошо и полным дебилом.
3. Начал заниматься йогой. Теперь (благодаря @ultravioleet) я могу закинуть ногу за голову. Пока не придумал, как применить это умение в бизнесе.

🌟 Поездки и отдых
1. Отпуск — это как огурец. Лучше короткий и эффективный, чем длинный и бесполезный.
2. Два месяца в Таиланде показали, что ЮВА — совсем не моё. Бангкок — город-хаммам, очень жарко и скучно. Зато было так скучно, что жена за это время придумала офигенный проект (https://svaha.ltd). Записывайтесь, если еще не. И друзьям расскажите.
3. Летал в Цюрих на «Что? Где? Когда?». Город все еще выглядит как элитная промзона.

🌟 Собака
1. Ада научилась вскрывать коробки с вкуснотами, обмотанные скотчем, и выгрызать вареное яйцо с силиконового коврика.
2. У нее развились токсичные отношения с роботом-пылесосом: то на него рычит, то игрушки ему приносит.
3. Еще она храпит как старый дед. Но это почему-то ужасно мило.

С наступающим! Расскажите про свои итоги в комментариях! Если лень, то не рассказывайте.

Судя по нашему кастдеву, аудитория тут следующая:

💛 где-то половина подписчиков это моя мама
💛 остальные делятся поровну на фаундеров и дата саентистов

В связи с чем вопрос: какой самый полезный/интересный/бесполезный/непонятный профессиональный совет вам давали?

Пишите в комментарии, самые прикольные (или все, если их будет типа два) разберу в следующих постах (или как обычно поговорю сам с собой).

Проснулись, потянулись, и вперед читать полезный контент➡️

Почему не бывает универсального шаблона для A/B-тестов

Недавно наш маркетолог спросила: «А почему нет единого шаблона для A/B-тестов, чтобы всё делать правильно всегда?» И если вас тоже волновал этот вопрос, то ответ на него такой: по кочану.

Каждый продукт — это уникальная снежинка

То, что работает для одной компании, может угробить другую. У каждого продукта свои паттерны, целевые метрики, пользователи и контексты. Нет смысла брать чужие подходы, если ты не понимаешь, как их адаптировать.

Возьмём, например, интернет-магазины. Если вы меняете внутрянку, например рекомендационную систему, эффекта новизны не будет — метрики могут меняться сразу. Но если мы тестируем что-то, что может вызвать вау-эффект, этот эффект надо учитывать и оценивать отдельно.

Долгосрочные риски вместо краткосрочного счастья

Приведу пример из дейтинга. Представим: запускается A/B-тест, в котором одной группе пользователей (допустим, мужчинам) показывают только популярных женщин: моделей, инфлюенсеров, с раскрученными соцсетями. Мужчины начинают закидывать им суперлайки, и revenue у платформы взлетает.

Классно? Нет.

В краткосрочной перспективе всё выглядит как успех, но что будет дальше?

🤎Обычные женщины начинают чувствовать себя невидимыми — им никто не пишет.
🤎Модели-инфлюенсеры чувствуют себя заваленными спамом, от которого быстро становится тошно.
🤎В итоге все уходят с платформы: кто-то из-за отсутствия внимания, кто-то из-за его избытка.

Результат: в A/B-тесте рост выручки, но в долгосроке — полный провал.

Медленно, но верно

Некоторые фичи нужно раскатывать медленно и аккуратно. Например:

🤎Алгоритмы для трейдинга. Ошибка тут может стоить мгновенных и катастрофических убытков.
🤎Скоринговая модель для банка. Только через месяцы ты увидишь, оправдалась ли гипотеза.

Принимать решения на основе слишком короткого теста = записываться на Ironman, пробежав без остановки свой первый километр.

Главное правило

A/B-тесты — это не только метрики, но и понимание бизнеса. Перед тем как что-то выкатывать, важно задать себе вопросы:

🤎Какие метрики важны вот в этой конкретной истории?
🤎Что может случиться в долгосрочной перспективе?
🤎И самое главное: ты уверен, что понимаешь, что делаешь? Ты можешь объяснить это CEO? А маркетологам? А пятилетке? А пятилетке в четыре года?

Потому что если ты не понимаешь, то применять не надо.

Как не сойти с ума от метрик

Метрики — это один из главных инструментов управления бизнесом. Поэтому их надо холить и лелеять, а не превращать дашборд в хаос и свалку. Вот несколько универсальных правил:

1. Уровни важности

В компании должны быть все уровни метрик. Допустим:

💚Глобальные (например, выручка, MAU) — для стратегического управления.
💚Продуктовые (конверсия, retention) — для оценки успеха конкретных фич.
💚Финансовые — чтобы CFO не звонил вам среди ночи.
И так далее.

Но важно понимать: не все метрики нужны всем и не надо пихать их в один дашборд. Если гендир смотрит на надои Бурёнки №14, а доярка изучает проекцию прибыли — что-то пошло не так.

2. Убираем шум

Каждая метрика должна быть полезной. Прежде чем добавить метрику в дашборд, нужно задать себе вопрос:

💚Что означает для моего продукта/команды рост этой метрики? А падение?
💚Что я сделаю, если метрика упадёт? А если возрастет?

Если ответ на все вопросы «ничего» или «ничего конкретного» — эта метрика вам не нужна. По крайней мере, не в текущем дашборде. Выбрасывайте ненужные цифры и оставляйте только те, на которые вы реально будете смотреть.

3. Одинаковые правила для всех

Каждый отдел, каждый сотрудник должен считать одни и те же метрики одним и тем же способом. Почему это важно? Потому что без этого менеджеры будут видеть одни цифры, маркетологи — другие, а дата-саентисты вообще в своём мире. Подробнее об этом я уже писал вот тут.

4. Прозрачность

Во-первых, каждая метрика должна основываться на здравом смысле и логике.

Прежде, чем принять решение отслеживать ту или иную метрику или влиять на нее, спросите себя:

💚Какие бизнес-сценарии ждут продукт?
💚На что может повлиять та или иная часть продукта?
💚И уже на основе этого стройте метрики. А не наоборот — не надо подгонять свои желания и хотелки под какие-то метрики.

Во-вторых, у каждого отдела самыми важными будут разные метрики. Продакт-менеджеры смотрят на одно, маркетологи на другое. Главное, чтобы доступ к цифрам был у всех, кому они нужны. От этого зависит, как быстро и точно принимаются решения.

Итог

Метрики должны уменьшать количество хаоса, а не наоборот. Не превращайте дашборд в кладбище ненужных цифр. Помните: меньше, но лучше.

Мини-консалтинг за пользовательские взаимодействия

Многие из вас в опросе отметили, что хотите больше конкретных кейсов и разборов. И это отличная идея, я и сам такое люблю. Но есть одна проблема: не все готовы публично рассказать о своих проблемах, а о проблемах своих клиентов я тоже, знаете, не могу рассказывать на 100% прозрачно.

Решение найдено! Я прикрутил анонимного бота для вопросов. Теперь вы можете анонимно спрашивать меня про всё, что вас волнует: про бизнес, продукты, метрики, A/B-тесты, что угодно. Я возьму ваши вопросы, разберу их и сделаю посты с ответами, которые, возможно, помогут не только вам, но и ещё кому-нибудь.

Как это работает?
1. Заходите к боту.
2. Пишете ваш вопрос, кейс, проблему, доебку.
3. Я читаю и делаю пост со своими мыслями и рекомендациями.

Почему это круто?
🌟 Анонимность. NDA не нарушается, лишнее не рассказывается.
🌟 Больше пользы. Вы получаете ответ на свой кейс, я — контент, другие подписчики — инсайты.
🌟 Никаких продаж и реклам — чистый консалтинг за ваше время и интерес.

Первый вопрос может быть как раз от вас
Что у вас болит? Где застряли? Расскажите, разберём вместе.

P.S. Не забудьте остановить бота после того, как зададите вопрос, а то получите тыщу спам-сообщений от него. К сожалению, мы живем в обществе 💛

Надо ли сразу делать продукт, который скейлится?

После одного из предыдущих постов мне предъявили, что необязательно вообще-то сразу делать продукт, который можно будет масштабировать.

Это зависит от того, что именно вы делаете.

Чтобы разобраться, важно понять разницу между PoC, MVP и полноценным продуктом.

1. PoC — Proof of Concept
Это проверка гипотезы.
PoC — это не продукт. Никогда. Это штука из говна и палок, которая должна ответить на один вопрос: «Стоит ли вообще двигаться дальше?»

🔶Пример:
Хочется сделать retention prediction model. Берётся куча данных, делается линейная регрессия в прости господи Excel и смотрится: что-то там она предсказывает и делает это даже чуть лучше подброшенной монетки. Окей, гипотеза подтвердилась — можно продолжать.
На этом этапе планировать ничего не надо, это просто быстрый «тяп-ляп», только без продакшена. Нигде, кроме внутреннего теста или презентации для инвестора, этой штуке не место.

2. MVP — Minimum Viable Product
Это уже продукт, которым можно пользоваться.
MVP — это минимум value, который можно протестировать на реальных юзерах. Его задача — проверить, работает ли гипотеза в реальной среде.

🔶Пример:
Social app решил ввести новую фичу: дикпик и супердикпик. Разработали базовый функционал, который работает, но совсем не оптимизирован, разве что по мелочи. Больше и не надо, ведь его задача — потусить на A/B-тестах, получить данные и решить, стоит ли развивать эту идею дальше.
Но! MVP уже нужно делать с учётом будущего роста. То есть это не должен быть набор костылей, который придётся переписывать с нуля, если гипотеза подтвердится.

3. Полноценный продукт
Это то, что вы делаете после успешного тестирования на этапе MVP.
На этом этапе все костыли убираются, добавляются нужные фичи, оптимизируются параметры, настраивается полноценная аналитика, завязывается бантик — продукт готов к масштабированию.

Ошибки, которые убивают стартапы

1. PoC отправляют в прод
Быстро слепили что-то, отдали юзерам, метрики выросли. И вот эта костыльная штука уже полгода работает на проде, потому что её боятся трогать, чтоб не поломать конверсию.

2. MVP превращают в продукт
Вместо того чтобы доработать MVP после тестов, его просто запускают как полноценный продукт. Скейлить его невозможно, баги копятся, грустно.

3. Пропускают PoC и делают сразу полноценный продукт
Самая дорогая ошибка. Полгода половина компании делает и тестирует новую фичу, потом другая половина запускает маркетинговую кампанию, а в итоге ей пользуется сотня человек из сотен тысяч MAU.

Итог
Успех продукта — это три этапа, и каждый из них нужен:
🔶PoC проверяет гипотезу.
🔶MVP даёт реальную обратную связь от юзеров.
🔶Полноценный масштабируемый продукт приносит деньги.

[Классный панч в конце и CTA оставлять комментарии]

Ура, пошли вопросы от подписчиков.

Какую самую идиотскую проблему ты решал?

А я вам сейчас расскажу.

Работал я как-то с компанией, связанной с видео. У них была стандартная, на первый взгляд, задача: модерация контента. Ну, знаете, чтобы рафинированная и целомудренная аудитория не дай бог не лицезрела человеческий пэнис.

Модерационный алгоритм работал хорошо. Слишком хорошо. В один момент он начал блокировать видео, где два лысых человека сидели рядом, потому что он думал, что это жопа. Нет, правда. Алгоритм был уверен: два круглых, кожаных, отражающих свет предмета в кадре — всё, это 18+. Если бы я был стримером и пригласил гостем Брюса Уиллиса или облокотился на зеркало, нас бы забанили за похабщину.

Модерация видео — это, казалось бы, задача, идеально подходящая для AI. Но только человеческий мозг умеет распознавать паттерны на таком уровне, чтобы отличить две сочные лысины взрослых приличных людей от ягодиц.

Я хотел бы сказать, что решил эту проблему быстро. Но нет. Мы даже хакатон устраивали, чтобы обучить алгоритм думать не как подросток с плохим чувством юмора. Пришлось настроить кучу дополнительных правил, уточнить датасеты, вот это все. В итоге справились, но сколько нервов это стоило… Отдельным удовольствием была уточняющая разметка данных на «жопа — не жопа».

Всем хороших выходных!

🍑 С любовью, Ягодица из ASAO.

Бизнес строится на данных. Но что, если данные врут?

Однажды я работал с компанией, которая по всем отчетам и аналитике имела львиную долю юзеров в США. Этот факт очень тешил им эго и радовал их инвесторов, ведь выйти на американский рынок — мечта любого стартапа.

Но поскреби юзера-американца и получишь VPN.

Большинство VPN американские, так что юзеры из Middle East или ЮВА, где куча сервисов и приложений заблокированы, заходят через них. По отчётам кажется, что большая часть выручки идёт из Штатов, а если копнуть глубже — например, посмотреть на язык или таймзону устройства — оказывается, что распределение юзеров совсем другое.

Проблемы у компании как раз начались тогда, когда они строили гипотезы и принимали стратегические решения на этой ложной картине. Компания думала, что знает своего пользователя, и проектировала продукт для мифического среднего американца, а реальных юзеров из Индии или Саудовской Аравии просто игнорировала.

Итог:
♦️Деньги тратятся на маркетинг, который не работает, потому что нацелен не на ЦА
♦️Продукт не решает проблемы пользователей, потому что портрет пользователя не сходится с реальностью
♦️Бизнес оказывается в свободном падении.

Я не знаю, искажали ли они данные сознательно в попытке показать инвесторам несуществующую картину или для них это тоже стало удивительным открытием, но на всякий случай морали две:

1. Проверяйте данные. Смотрите глубже, если что-то не сходится непонятно почему.
2. Не врите сами себе. И инвесторам не врите. Старайтесь врать по минимуму, когда дело касается данных, потому что такую ложь очень легко проверить и навсегда потерять репутацию прикольного стартапа.

Недавно нам в бот пришёл вопрос:
"Как часто приходилось работать с B2B? Может, какие-то ошибки часто допускаются в B2B или есть особенности подхода в анализе данных B2B-компаний, которые кажутся тебе интересными?"

Если коротко: в B2B сложно найти стандартные пути и шаблоны для аналитики. Почему? Потому что каждый бизнес тут действительно уникален.

В B2C почти всегда есть юзеры, retention, inventory, и основные метрики можно перенести из одного продукта в другой. Плюс, обычно гораздо больше данных, на основании которых можно принимать решения. И связь между рекламой и ростом пользователей тоже почти всегда легко видно. Все эти закономерности одинаково применимы к интернет-магазину, онлайн банку или очередному клону Тиндера.

А в B2B? Там всё куда сложнее. У SecOps платформы для корпоративных клиентов, legal compliance трекера для финтеха и тулзы для предсказания цен на бирже энергоресурсов из общего только непонимание людьми со стороны, что эти компании вообще делают.

Но есть и хорошие новости. Независимо от размера, трекать вот эти вещи можно и нужно:
✔️Выручку от клиента.
✔️Churn / retention rate — не везде актуально, но если актуально хоть в каком-то виде, надо трекать.
✔️Как клиенты пользуются продуктом: количество запросов, частота основных действий.
✔️Рекламную аналитику: лиды, success rate — всё то же, что в B2C. Это, конечно, если у вас есть реклама.

Если у компании много клиентов (типа Slack или Zoom), там уже можно развернуться. Такие B2B всё больше похожи на B2C: вместо юзеров — другие компании, но механики схожи, и можно трекать все стандартные штуки типа retention, churn, LTV, и так далее.

А если клиентов три? Вот тут уже начинаются нюансы. Когда каждый клиент — это маленькое чудо (как у нас в ASAO DS сейчас), никаких больших выводов на их основе не сделаешь. Просто данных недостаточно. Здесь поможет только здравый смысл, наблюдательность и понимание, как бизнес устроен в целом.

Какие ошибки встречаются в B2B?

1️⃣ Неправильная оценка масштаба.
У маленьких компаний это выглядит так: "У нас было три лида, один упал, второй пропал, значит, наш conversion rate — 33%." Ну да, конечно.
А у больших — наоборот: игнорирование возможностей. Например, крупная компания вроде Zoom, но с аналитикой на уровне маленького стартапа, где считают каждого клиента уникальным и не смотрят на общую картину.

2️⃣ Недостаток здравого смысла.
Но в целом, эта ошибка встречается всегда и везде.

Итак:
Аналитика данных в B2B — это сложно, но можно. Главное понять, где ты находишься: маленький стартап, крупная компания или что-то между. И не копировать готовые решения, а думать головой.

P.S. Наш дорогой аноним, задавший этот вопрос: если дашь боту чуть больше конкретики, хотя бы индустрию и размер компании, с удовольствием дам советы с ценностью чуть больше, чем у фразы «нормально делай — нормально будет».

Напоминаю про нашу консалтинг-пятиминутку, записаться можно тут 💅