Вы не готовы, пацаны

Прочитал сегодня очередной пост про быстрые итерации, lean startup, все дела. Ощущение, что уже все хотят проверять по 300к гипотез в наносекунду. Но, по факту, мало кто к этому готов

2 А/В в месяц ломают хребет B2B-стартапам
Возникают риски для клиентов - нестабильный продукт, нужно обьяснять изменение метрик даже третьего порядка.
Внезапно оказывается, что эксперименты могут стоить денег! Не только потенциальная потеря метрик, но и косты на те же GPU. А минимальный бюджет на них выделить забыли
А еще и логгировать все данные нужно корректно: если у вас теряется 10% логов, тооо замерить эффект в +5% вряд ли получится

20 А/В - тестируют аналитическую культуру средних компаний
Неожиданно, но 20 А/В в месяц означает, что в среднем каждый день нужно принимать решение по завершившемуся АВ.
Это означает: корректно разводить аудиторию между АВ, пофиксить баги в сборе данных, сделать автоматические скрипты расчета всех метрик, договориться что все в компании смотрят на однин и тот же набор метрик и версию расчета конверсии, договориться о размене метрик...
Ну и самое главное: научиться по готовому анализу быстро принимать бинарное решение: катим в прод / нет.
А нет, погодите, еще при выкатке в прод фиксить все конфликты, накопившиеся за период экспа + костыли эксперимента превращать в продакшен-код:)

200 А/В - проверяют все процессы в IT-гигантах
Столько экспериментов в месяц означает, что их массово проводят все команды: продукт, маркетинг, логистика и тп. Следить за всеми невозможно. Тут придется налаживать процессы на уровне всей компании, чтобы проверка гипотез была полезной, а не запутывала все еще больше

Влияют ли эксперименты разных команд друг на друга? Одни катают экспы по 5 дней, другие только на сегменте ios, третьи показывают в копеечном экспе +30% выручки -- а каким экспериментам мы вообще можем доверять?
Придется построить плафторму А/В. Придется договариваться о метриках. Придется говорить, что в А/В маркетинг принес +3% клиентов, а не атрибуцировал к открывшим пуш 60% заказов

А вам оно надо? 😂

В общем, lean startup и быстрая проверка гипотез - это здорово, я сам очень топлю за это. Но будьте готовы, что нужно вложить немало усилий и денег, чтобы все это действительно приносило пользу

❤️ - В моей компании идет 200+ АВ тестов в месяц
🔥- 20-200 АВ
👍 - 2-20 АВ
😀 - Живем без АВ и счастливы

LLM ради денег, а не хайпа

Наконец, многие начали задумываться, приносят ли LLM-проекты реальную прибыль (пора перименовываться в LLM4Value 💀). По ощущениям:

~5% LLM и правда приносят прибыль
~20% примерно также эффективны по деньги-качество как и более простые решение (да-да, регулярки)
~75% адски жгут бюджеты и веру в скорый AGI

Хочется поскорее узнать о набитых шишках и провальных llm-инвестициях, чтобы не наступать на грабли

Конференция Conversations обещает быть как раз таким местом: много докладов про экономику LLM-проектов
5 декабря, оффлайн в Москве и онлайн отовсюду

Какие анонсы докладов меня заинтриговали:

- GenAI в разработке: как внедрять генеративные технологии в вашей самой дорогой команде и считать профит в деньгах и других метриках. Григорий Бездольный, Axenix
- LLM для слов, MCP для цифр: как можно оптимизировать экономику проектов с помощью MCP-серверов. Иван Четвериков, Raft
Как я и говорил, деньги-то начинают считать!)

- Автоматизация на грани: почему LLM-проекты терпят фиаско и как этого избежать? Дмитрий Легчиков, 2ГИС
Надеюсь на доклад в факап-митап стиле. Обычно фейлы идут из-за "классических" проблем с данными (нет нормального val dataset, итераций улучшения), таргетом (да-да, для llm его надо еще более строго определять) и несходимости экономики LLM-проекта

- AI-боты вместо звонков: как управлять диалогом с помощью LLM и масштабировать клиентский сервис. Александр Жариков, МТС
Имхо, ai чат-боты в поддержке - одна из немногих сфер положительного ROI от LLM

Еще будут доклады от Яндекс, Т-Банк, Just AI, Plata card и не только.

Полную программу можете посмотреть на сайте.
И там же взять билет со скидкой 10% по промокоду CVS25mlVm

Реклама. ООО «Маинд Крафт» ИНН: 7813286694 erid: 2W5zFJhLDUU

LLM х RecSys = ?

Почти все продакшен рекомендации состоят из 2ух частей: стабильные предпочтения пользователя + рекомендации по последним взаимодействиям

До недавних пор основной прогресс был за счет последних взаимодействий

-> Переход к real-time рекомендациям
-> Похожие товары на последние клики
-> SLIM/EASE по последним действиям
-> SASRec
-> Даже модный HSTU в основном опирается на последние действия


При этом стабильные предпочтения моделировались простым подходом вроде ALS над покупками за последний год - и было норм. Но в 2025 году вышло штук 5 статей от крупных компаний про учет стабильных предпочтений юзера через LLM с приличными приростами бизнес-метрик

И в вот этот кейс применения LLM я вполне верю (и он даже самоокупается!):

- Стабильные предпочтения пользователя по определению редко меняются.
Можно прогонять LLM лишь раз в неделю и только по юзерам с новыми действиями = не так много запросов к LLM + тайминги ответа не важны

- Нетривиальная связь покупки товара Х и интереса юзера.
Например, купил палатку -> вероятно, есть интерес ко всему походному (одежда, экипировка, сублиматы и тп), а не только палатки и вокруг них (условно, колышки для палатки и ночной фонарь в нее). ALS такую взаимосвязь не выучит, а LLM - вполне

- Особенность рексис
Как правило, за год-два почти все товары (и их item_id) в базе обновляются. Фактически это означает, что модели, завязанные на item_id очень быстро устаревают = плохо работают с учетом интереса юзера на горизонте 1-3 года. И в этом проблема ALS.
Но LLM работают с текстом (название + описание), который все еще актуален и спустя 3 года — это позволяет LLM лучше «пережить» обновление товаров (и item_id) с течением времени

В совокупности, эти 3 фактора привели к буму LLM в рекомендациях в 2025г. Но почти только в рекомендациях на основе стабильных предпочтений. В учете недавней истории все еще царят SASRec и HSTU

Занятные статьи про LLM для учета стабильных предпочтений в рексис: RecGPT от Taobao, моделька от LinkedIn, и отчасти PLUM от Google

В общем, некоторый LLM-прорыв имеется 🚀