🎙 Мы в телевизоре на подкасте 🎙

Ксению, управляющего партнёра ASAO DS, пригласили гостем второго выпуска подкаста LEFT JOIN.

Получилось почти полтора часа классного контента: от эмиграции до мемов, от Кипра до консалтинга.

💡 Обсудили:
✅ Нужен ли Кипр вашему бизнесу?
✅ Почему фаундеры с опытом второго/третьего бизнеса — топовые клиенты?
✅ Консалтинг — это развод? (иногда да, но не наш случай).
✅ Как мемы помогают строить бренд?

Подкаст можно слушать где угодно: в спортзале, за готовкой, в очереди за кофе. В целом, можете и не слушать. Главное включите, чтоб просмотр засчитался.

🔗 Ссылка тут: LEFT JOIN

Ставьте лайки, пишите, какой момент зашёл, а если весь подкаст не зашёл — тоже пишите. Нам всё интересно.

Давайте проведём небольшой кастдев!
Я, конечно, в основном пишу то, что прикольно мне, но хочется, чтобы и вам было полезно.
Поэтому предлагаю немного познакомиться: кто вы, чем занимаетесь, что читаете, а главное — зачем подписались на канал?
➡️➡️➡️

Что бы я делал, если бы был джуном

Сейчас быть выпускником универа или курсов по дата саенсу и искать свою первую работу намного более сложно и херово, чем раньше.
Рынок изменился. Я чувствую это в воде, чувствую это в земле, ощущаю в воздухе… Многое из того, что было — ушло. И не осталось тех, кто помнит об этом.

Что происходит с рынком?
Компании перестали искать толпы джунов.
Бизнес-климат сейчас такой, что больше людей ≠ больше результата. Корреляция между количеством сотрудников и успехом слабеет с каждым годом.

Что это значит?
♦️Один хороший миддл/сеньор будет работать лучше и быстрее, чем толпа джунов, а значит, и обойдется дешевле. Тимлид потратит намного больше ресурсов на то, чтоб научить джуна, перепроверить за ним, а потом еще и все переделать.
♦️Тратить время на джуна, пусть и недорогого, погружать его в контекст бизнеса, только чтоб через пару лет он ушел миддлом в другую компанию, которая будет платить ему больше? Ну такое.

А как же воспитать под себя?
Сейчас это экономически нецелесообразно.
Компании полезнее найти не человека, который хорошо умеет делать одну вещь, а специалиста, который повидал некоторое дерьмо.
Это необязательно большой опыт в определенной индустрии, на определенной должности или с определенными инструментами. Это человек, который поделал всякое:
✅Поработал в разных контекстах
✅Умеет взаимодействовать с разными стейкхолдерами
✅Научился не только понимать и ставить задачи, но и определять их место и необходимость в общей картине бизнеса
✅И сам стрелял, и в него стреляли, и упал в лужу, и рыбку съел, ну вы поняли.

Что актуально сегодня?
На курсах и в универах учат моделям в порядке эволюции: линейные регрессии, decision trees и так далее. Это правильно, но… Эти модели — как прописи: они нужны, чтобы научиться, но никто в здравом уме не начинает data science проект с линейной регрессии.

Если бы я учился заново, я бы подходил с продуктовой стороны.
♦️Математика необходима, но только как инструмент.
♦️Надо не просто знать алгоритмы, а понимать, зачем они нужны.

AI уже может делать за вас базовые технические задачи: строить модули для моделей, кое-как автоматизировать процессы, генерировать прогнозы. Но он не знает, нужно ли это бизнесу. Алгоритм не знает целей вашей компании и чего хотят ваши пользователи. А хороший специалист понимает продуктовый контекст, видит цели компании и может найти идеальное решение там, где AI даст формально правильный ответ, но не учтет крайне важные детали.

Совет джунам:
Смотрите шире. Да, техническая база важна, но вам вряд ли придётся углубляться в математику за loss-functions или пользоваться SVD.
Учитесь думать как продакт. Видеть бизнес. Понимать, зачем нужна задача и как она повлияет на общую картину.
Не будьте просто Data Scientist, будьте Data Product Architect.

Отправляйте знакомому джуну, пусть он немного смотивируется 🙃

Как не обмануть самого себя

Допустим, мобильная игра запустила новый виртуальный item. Продажи в тестовой группе взлетели! Продакты радостно пишут в отчёте: «Item классный! Покупают лучше, чем всё остальное!»

А потом оказывается: выручка-то не выросла.

Почему?

Потому что пользователи просто переключились на новый item, а старые перестали покупать. Средняя выручка осталась на месте. Но кто-то умудрился на полном серьёзе назвать это ростом и даже продал это начальству.

Или другой сценарий: фича запущена, тесты показали результат, всё вроде бы ок. Все довольные пошли заниматься другими делами. Продакты ушли работать над чем-то новым, дата-саентисты написали модель и забыли — а фича собирает баги и медленно умирает.

Оставлять фичу без присмотра нельзя. Это распространённая ошибка: в погоне за новыми идеями стартапы забывают про то, что уже сделали.

Что с этим делать?
➡️ Смотреть на общую картину, а не только на цифры новой фичи.
➡️ Назначать ответственных за поддержку и развитие каждой фичи.

Без оунера фича не просто деградирует — она становится ещё одной проблемой, которую потом все будут героически решать.

Коллеги, я раздуплился!

Получайте итоги года: немного по делу, немного по фану.

🌟 Бизнес и работа
1. Оказалось, почти каждый клиент уверен, что Data Science в его индустрии или в его конкретном продукте уникальна. Хорошо, что это не так. Дата саентисты — это сантехники с одним и тем же чемоданчиком инструментов, хоть все унитазы и смесители разные.
2. Консалтинг оказался отличным выбором для бизнеса: берёшь сложную проблему и решаешь её. Мне весело, потому что у меня шило в попе и мне нужны новые задачки и контексты. Клиентам весело, потому что проблема решена. И деньги на еду дают — о чем еще мечтать?
3. Сделали свою модульную библиотеку и сэкономили кучу времени. Пожалуй, самый полезный инструмент года, теперь у нас есть свой паноптикум.

🌟 Продукты и эксперименты
1. Real time recommender systems и других похожих решений мы в этом году сделали столько, что теперь можем качественно клепать их в новогоднюю ночь на рейве в Берлине.
2. Запустил этот Telegram-канал — шуток про пенисы больше, чем лидов. Но зато здесь все мои любимые подписчики, которые взаимодействуют с контентом и совершают целевые действия, за что вам большое спасибо.
3. Миллиона лидов из этого канала в целом не случилось. Если 2025 не изменит картину, будем выкладывать фото наших стоп (это угроза).

🌟 Личная эффективность
1. Ледяные ванны по утрам добавляют столько фокуса и энергии, что я не понимаю, почему это социальная одобряемая вещь, а не что-то с репутацией микродозинга.
2. Reclaim — реально очень полезный инструмент, с которым ну очень тяжело накосячить. Это не реклама (никто в здравом уме не купит рекламу в русскоязычном Телеграм-канале на 250 человек).
3. Качественный отдых, конечно, ничто не заменит. Но если возможности делать большие перерывы и отключаться нет, то переключение между разными задачами — это реально спасение.

🌟 Команда
1. Все отлично, до тех пор пока ты не пытаешься сам нанимать людей на те вещи, в которых ты ничего не понимаешь. Мы вот сами пошли к консультанту прежде чем нанять человека в маркетинг, и посмотрите, какие потрясающие тексты выходят в нашем канале.
2. В управлении ASAO DS, в основном, два человека: я и Ксюша (если ещё не смотрели подкаст с ней, поскрольте вверх и посмотрите). Заранее договориться обо всём, включая план на случай жёсткого конфликта, — это то, что спасает нас от проблем. Как в начале отношений полезно проверить, совпадаете ли вы по каким-то важнейшим вещам и ценностям, так и в совместной работе важен долгий разговор на берегу. В том числе о том, что вы сделаете, если совсем разосретесь (мы еще не там, но план на этот счет у нас есть).
3. Вывел важное правило найма в команду: уметь шутить тупые шутки. Это не просто culture fit, а я бы даже сказал вайб-чек.

🌟 Клиенты
1. Когда приходишь в компанию консультантом, зачастую видишь, как люди дерутся за власть вместо того, чтоб работать. Рабочий процесс похож на бюджетную «Игру престолов». Консультант должен понять, кто с кем в альянсе, а кто против кого, не дать себя затянуть в этот хаос, еще и проблему бизнеса решить.
2. Клиенты чаще всего приходят, когда проблемы уже набрали критическую массу, когда уже из-за размера живота не могут надеть носки. Задача на 2025 — придумать, как привлекать клиентов, которые близки к такой судьбе, но они пока этого не знают.
3. Очень часто в 2024 бывало такое, что клиенты думали, что им надо одно, но после пары разговоров мы вместе приходим к совершенно другому решению. Кто-то приходит за ML, а там нечего и не на чем обучать, а вот процессы пора бы перестроить — это мы и делали.

🌟 Хобби и интересы
1. Аудиокниги спасли мой читательский год. Недавно вот переслушал «Историю западной философии» Бертрана Рассела, пока пытался на ветру раскрыть пакетик для собачьих какашек.
2. Уже говорил, но скажу еще раз. Я вернулся к ледяным ваннам. Лежу по пять минут и чувствую себя одновременно очень хорошо и полным дебилом.
3. Начал заниматься йогой. Теперь (благодаря @ultravioleet) я могу закинуть ногу за голову. Пока не придумал, как применить это умение в бизнесе.

🌟 Поездки и отдых
1. Отпуск — это как огурец. Лучше короткий и эффективный, чем длинный и бесполезный.
2. Два месяца в Таиланде показали, что ЮВА — совсем не моё. Бангкок — город-хаммам, очень жарко и скучно. Зато было так скучно, что жена за это время придумала офигенный проект (https://svaha.ltd). Записывайтесь, если еще не. И друзьям расскажите.
3. Летал в Цюрих на «Что? Где? Когда?». Город все еще выглядит как элитная промзона.

🌟 Собака
1. Ада научилась вскрывать коробки с вкуснотами, обмотанные скотчем, и выгрызать вареное яйцо с силиконового коврика.
2. У нее развились токсичные отношения с роботом-пылесосом: то на него рычит, то игрушки ему приносит.
3. Еще она храпит как старый дед. Но это почему-то ужасно мило.

С наступающим! Расскажите про свои итоги в комментариях! Если лень, то не рассказывайте.

Судя по нашему кастдеву, аудитория тут следующая:

💛 где-то половина подписчиков это моя мама
💛 остальные делятся поровну на фаундеров и дата саентистов

В связи с чем вопрос: какой самый полезный/интересный/бесполезный/непонятный профессиональный совет вам давали?

Пишите в комментарии, самые прикольные (или все, если их будет типа два) разберу в следующих постах (или как обычно поговорю сам с собой).

Проснулись, потянулись, и вперед читать полезный контент➡️

Почему не бывает универсального шаблона для A/B-тестов

Недавно наш маркетолог спросила: «А почему нет единого шаблона для A/B-тестов, чтобы всё делать правильно всегда?» И если вас тоже волновал этот вопрос, то ответ на него такой: по кочану.

Каждый продукт — это уникальная снежинка

То, что работает для одной компании, может угробить другую. У каждого продукта свои паттерны, целевые метрики, пользователи и контексты. Нет смысла брать чужие подходы, если ты не понимаешь, как их адаптировать.

Возьмём, например, интернет-магазины. Если вы меняете внутрянку, например рекомендационную систему, эффекта новизны не будет — метрики могут меняться сразу. Но если мы тестируем что-то, что может вызвать вау-эффект, этот эффект надо учитывать и оценивать отдельно.

Долгосрочные риски вместо краткосрочного счастья

Приведу пример из дейтинга. Представим: запускается A/B-тест, в котором одной группе пользователей (допустим, мужчинам) показывают только популярных женщин: моделей, инфлюенсеров, с раскрученными соцсетями. Мужчины начинают закидывать им суперлайки, и revenue у платформы взлетает.

Классно? Нет.

В краткосрочной перспективе всё выглядит как успех, но что будет дальше?

🤎Обычные женщины начинают чувствовать себя невидимыми — им никто не пишет.
🤎Модели-инфлюенсеры чувствуют себя заваленными спамом, от которого быстро становится тошно.
🤎В итоге все уходят с платформы: кто-то из-за отсутствия внимания, кто-то из-за его избытка.

Результат: в A/B-тесте рост выручки, но в долгосроке — полный провал.

Медленно, но верно

Некоторые фичи нужно раскатывать медленно и аккуратно. Например:

🤎Алгоритмы для трейдинга. Ошибка тут может стоить мгновенных и катастрофических убытков.
🤎Скоринговая модель для банка. Только через месяцы ты увидишь, оправдалась ли гипотеза.

Принимать решения на основе слишком короткого теста = записываться на Ironman, пробежав без остановки свой первый километр.

Главное правило

A/B-тесты — это не только метрики, но и понимание бизнеса. Перед тем как что-то выкатывать, важно задать себе вопросы:

🤎Какие метрики важны вот в этой конкретной истории?
🤎Что может случиться в долгосрочной перспективе?
🤎И самое главное: ты уверен, что понимаешь, что делаешь? Ты можешь объяснить это CEO? А маркетологам? А пятилетке? А пятилетке в четыре года?

Потому что если ты не понимаешь, то применять не надо.

Как не сойти с ума от метрик

Метрики — это один из главных инструментов управления бизнесом. Поэтому их надо холить и лелеять, а не превращать дашборд в хаос и свалку. Вот несколько универсальных правил:

1. Уровни важности

В компании должны быть все уровни метрик. Допустим:

💚Глобальные (например, выручка, MAU) — для стратегического управления.
💚Продуктовые (конверсия, retention) — для оценки успеха конкретных фич.
💚Финансовые — чтобы CFO не звонил вам среди ночи.
И так далее.

Но важно понимать: не все метрики нужны всем и не надо пихать их в один дашборд. Если гендир смотрит на надои Бурёнки №14, а доярка изучает проекцию прибыли — что-то пошло не так.

2. Убираем шум

Каждая метрика должна быть полезной. Прежде чем добавить метрику в дашборд, нужно задать себе вопрос:

💚Что означает для моего продукта/команды рост этой метрики? А падение?
💚Что я сделаю, если метрика упадёт? А если возрастет?

Если ответ на все вопросы «ничего» или «ничего конкретного» — эта метрика вам не нужна. По крайней мере, не в текущем дашборде. Выбрасывайте ненужные цифры и оставляйте только те, на которые вы реально будете смотреть.

3. Одинаковые правила для всех

Каждый отдел, каждый сотрудник должен считать одни и те же метрики одним и тем же способом. Почему это важно? Потому что без этого менеджеры будут видеть одни цифры, маркетологи — другие, а дата-саентисты вообще в своём мире. Подробнее об этом я уже писал вот тут.

4. Прозрачность

Во-первых, каждая метрика должна основываться на здравом смысле и логике.

Прежде, чем принять решение отслеживать ту или иную метрику или влиять на нее, спросите себя:

💚Какие бизнес-сценарии ждут продукт?
💚На что может повлиять та или иная часть продукта?
💚И уже на основе этого стройте метрики. А не наоборот — не надо подгонять свои желания и хотелки под какие-то метрики.

Во-вторых, у каждого отдела самыми важными будут разные метрики. Продакт-менеджеры смотрят на одно, маркетологи на другое. Главное, чтобы доступ к цифрам был у всех, кому они нужны. От этого зависит, как быстро и точно принимаются решения.

Итог

Метрики должны уменьшать количество хаоса, а не наоборот. Не превращайте дашборд в кладбище ненужных цифр. Помните: меньше, но лучше.

Мини-консалтинг за пользовательские взаимодействия

Многие из вас в опросе отметили, что хотите больше конкретных кейсов и разборов. И это отличная идея, я и сам такое люблю. Но есть одна проблема: не все готовы публично рассказать о своих проблемах, а о проблемах своих клиентов я тоже, знаете, не могу рассказывать на 100% прозрачно.

Решение найдено! Я прикрутил анонимного бота для вопросов. Теперь вы можете анонимно спрашивать меня про всё, что вас волнует: про бизнес, продукты, метрики, A/B-тесты, что угодно. Я возьму ваши вопросы, разберу их и сделаю посты с ответами, которые, возможно, помогут не только вам, но и ещё кому-нибудь.

Как это работает?
1. Заходите к боту.
2. Пишете ваш вопрос, кейс, проблему, доебку.
3. Я читаю и делаю пост со своими мыслями и рекомендациями.

Почему это круто?
🌟 Анонимность. NDA не нарушается, лишнее не рассказывается.
🌟 Больше пользы. Вы получаете ответ на свой кейс, я — контент, другие подписчики — инсайты.
🌟 Никаких продаж и реклам — чистый консалтинг за ваше время и интерес.

Первый вопрос может быть как раз от вас
Что у вас болит? Где застряли? Расскажите, разберём вместе.

P.S. Не забудьте остановить бота после того, как зададите вопрос, а то получите тыщу спам-сообщений от него. К сожалению, мы живем в обществе 💛

Надо ли сразу делать продукт, который скейлится?

После одного из предыдущих постов мне предъявили, что необязательно вообще-то сразу делать продукт, который можно будет масштабировать.

Это зависит от того, что именно вы делаете.

Чтобы разобраться, важно понять разницу между PoC, MVP и полноценным продуктом.

1. PoC — Proof of Concept
Это проверка гипотезы.
PoC — это не продукт. Никогда. Это штука из говна и палок, которая должна ответить на один вопрос: «Стоит ли вообще двигаться дальше?»

🔶Пример:
Хочется сделать retention prediction model. Берётся куча данных, делается линейная регрессия в прости господи Excel и смотрится: что-то там она предсказывает и делает это даже чуть лучше подброшенной монетки. Окей, гипотеза подтвердилась — можно продолжать.
На этом этапе планировать ничего не надо, это просто быстрый «тяп-ляп», только без продакшена. Нигде, кроме внутреннего теста или презентации для инвестора, этой штуке не место.

2. MVP — Minimum Viable Product
Это уже продукт, которым можно пользоваться.
MVP — это минимум value, который можно протестировать на реальных юзерах. Его задача — проверить, работает ли гипотеза в реальной среде.

🔶Пример:
Social app решил ввести новую фичу: дикпик и супердикпик. Разработали базовый функционал, который работает, но совсем не оптимизирован, разве что по мелочи. Больше и не надо, ведь его задача — потусить на A/B-тестах, получить данные и решить, стоит ли развивать эту идею дальше.
Но! MVP уже нужно делать с учётом будущего роста. То есть это не должен быть набор костылей, который придётся переписывать с нуля, если гипотеза подтвердится.

3. Полноценный продукт
Это то, что вы делаете после успешного тестирования на этапе MVP.
На этом этапе все костыли убираются, добавляются нужные фичи, оптимизируются параметры, настраивается полноценная аналитика, завязывается бантик — продукт готов к масштабированию.

Ошибки, которые убивают стартапы

1. PoC отправляют в прод
Быстро слепили что-то, отдали юзерам, метрики выросли. И вот эта костыльная штука уже полгода работает на проде, потому что её боятся трогать, чтоб не поломать конверсию.

2. MVP превращают в продукт
Вместо того чтобы доработать MVP после тестов, его просто запускают как полноценный продукт. Скейлить его невозможно, баги копятся, грустно.

3. Пропускают PoC и делают сразу полноценный продукт
Самая дорогая ошибка. Полгода половина компании делает и тестирует новую фичу, потом другая половина запускает маркетинговую кампанию, а в итоге ей пользуется сотня человек из сотен тысяч MAU.

Итог
Успех продукта — это три этапа, и каждый из них нужен:
🔶PoC проверяет гипотезу.
🔶MVP даёт реальную обратную связь от юзеров.
🔶Полноценный масштабируемый продукт приносит деньги.

[Классный панч в конце и CTA оставлять комментарии]

Ура, пошли вопросы от подписчиков.

Какую самую идиотскую проблему ты решал?

А я вам сейчас расскажу.

Работал я как-то с компанией, связанной с видео. У них была стандартная, на первый взгляд, задача: модерация контента. Ну, знаете, чтобы рафинированная и целомудренная аудитория не дай бог не лицезрела человеческий пэнис.

Модерационный алгоритм работал хорошо. Слишком хорошо. В один момент он начал блокировать видео, где два лысых человека сидели рядом, потому что он думал, что это жопа. Нет, правда. Алгоритм был уверен: два круглых, кожаных, отражающих свет предмета в кадре — всё, это 18+. Если бы я был стримером и пригласил гостем Брюса Уиллиса или облокотился на зеркало, нас бы забанили за похабщину.

Модерация видео — это, казалось бы, задача, идеально подходящая для AI. Но только человеческий мозг умеет распознавать паттерны на таком уровне, чтобы отличить две сочные лысины взрослых приличных людей от ягодиц.

Я хотел бы сказать, что решил эту проблему быстро. Но нет. Мы даже хакатон устраивали, чтобы обучить алгоритм думать не как подросток с плохим чувством юмора. Пришлось настроить кучу дополнительных правил, уточнить датасеты, вот это все. В итоге справились, но сколько нервов это стоило… Отдельным удовольствием была уточняющая разметка данных на «жопа — не жопа».

Всем хороших выходных!

🍑 С любовью, Ягодица из ASAO.