👏Конверсии нашли. Теперь делимся записью.

Если пропустили митап «Где конверсии, Лебовски?», самое время наверстать.

Вместе с экспертами рынка поговорили о том, почему идеальной модели атрибуции не существует, какие особенности есть у B2B-аналитики, как не попасть в ловушки при построении собственной модели и можно ли считать бренд-медиа полноценным маркетинговым каналом.

Запись уже доступна — приятного просмотра!

🤖Статья на Хабре: RAG без магии — что действительно влияет на качество системы

В статье Лев Рябов, фронтенд-разработчик М2, разбирает RAG с точки зрения обычного разработчика — без погружения в ML и сложных AI-фреймворков.

На примере системы на базе 62 книг и тестового набора из 135 вопросов Лев показывает, почему RAG, который хорошо выглядит в демо, может ошибаться в проде — и как проверять его качество до запуска.

В статье Лев:

➕Объясняет, как устроен базовый RAG-пайплайн и какую роль в нём играют эмбеддинги.

➕Показывает, зачем собирать собственный тестовый набор и отдельно измерять качество извлечения и генерации.

➕Разбирает, как выбор модели эмбеддингов и контекст внутри чанков повлияли на recall@5 в его системе.

➕Рассказывает о подходах, которые не дали заметного прироста на его корпусе: гибридном поиске и реранкинге.

➕Объясняет, как тестировать отказ от ответа и не давать модели уверенно галлюцинировать, когда нужной информации нет.

➕Делится минимальным стеком для TypeScript-разработчика: PostgreSQL, pgvector, API эмбеддингов и LLM — без отдельной векторной БД и AI-фреймворка.

Читать на Хабре

🥳Поздравляем с профессиональным праздником тех, кто знает: если что-то может сломаться, оно сломается. Без вас мы бы давно упали в прод.

А если у вас есть истории с забавными багами, то мы с радостью почитаем их в комментариях 🤟

Что делать, если Discovery есть почти в каждой команде — но у каждой он свой?

Кто-то начинает с интервью, кто-то — с метрик, кто-то сразу идёт проверять гипотезы. В итоге практики есть, а общего процесса, понятных этапов и единого языка — нет.

В М2 мы столкнулись именно с этим и решили собрать разрозненный опыт в единый Discovery-процесс на уровне компании.

В новой статье на Хабре Лёша Савлев, скрам-мастер продуктовых команд М2, рассказывает:

➕как мы провели аудит и нашли основные разрывы в процессе;
➕почему начали не с регламентов, а с пилотной Discovery-команды;
➕как сформировали гайдлайн из 5 основных этапов;
➕как адаптировали процесс под команды с разным уровнем зрелости;
➕что пришлось добавить помимо самого гайда: обучение, практикумы, акселераторы и комьюнити;
➕и какие ограничения и ошибки обнаружили уже в процессе внедрения.

В конце — чек-лист для тех, кто хочет систематизировать Discovery у себя и не превратить его в ещё один документ, который никто не открывает.

Читайте статью на Хабре 👀

Что делать, если в KPI маркетолога стоит выручка — но напрямую управлять ей он не может? 🦖

На итоговый результат одновременно влияют продукт, маркетинг, продажи и другие команды. А значит, просто спустить продуктовые метрики в маркетинг недостаточно: нужно понять, где заканчивается зона влияния одной команды и начинается зона другой.

В М2 мы столкнулись с этой проблемой и решили построить единое дерево метрик, которое связало бы бизнес-показатели с тем, чем маркетинг действительно может управлять.

В новой статье на Хабре Сергей Кноль, маркетинговый аналитик, и Артём Колесник, руководитель продуктового маркетинга М2, рассказывают:

➕почему классическое дерево метрик не подошло для задач маркетинга;
➕как мы трижды пересобирали модель и где ломалась логика;
➕почему в дерево обязательно пришлось добавить расходы маркетинга;
➕как разделили KPI на объём, качество и экономическую эффективность;
➕как проверили подход на PMM и начали масштабировать его на другие направления;
➕и почему дерево пока не получается одинаково хорошо применить к SEO и бренд-маркетингу.

Наш фреймворк не обязательно соблюдать буквально, но можно адаптировать модель под то, как действительно работает бизнес.

Читайте статью на Хабре 👀