Улучшения стэка для сайта
Рассказываем, что крутого и классного вышло для стэка для сайта за последние 2 месяца.
1. Добавили реактивность в персонализации, A/B тесты, действия по правилам и опросы
Например, если вы завязались в условиях срабатывания на сумму корзины пользователя, то нужно действие сработает сразу же как только сумма корзины превысит границу, а не после перехода на другую страницу
2. Добавили поточное отслеживание достигнутых конверсий в реальном времени и возможность завязываться на них в условиях срабатывания
Да, теперь можно сделать вот так - "Номер сессии пользователя > 5 И Он не достиг конверсии Оставить заявку ранее" -> Открыть модальное окно "Что вас останавливает?"
Теперь мы сами понимаем, какие вещи являются критическими для отслеживания и не должны зависеть от буфферов (что, например, достижение конверсии Оставить заявку критическое и его нужно отслеживать в реальном времени, даже если пользователь совершает тысячи конверсий каждую сессию"
3. Для A/B тестов добавили новые стратегии остановки:
- По размеру выборки
- Последовательное тестирование
- Бейесовский анализ
В рамках каждой стратегии доступны режимы:
- Лидер против остальных вариантов вместе
- Оригинальный вариант против остальных вариантов вместе
- Лидер против оригинального варианта
- Лидер против второго варианта
С красивыми описаниями каждого сделанного конфига как это будет работать
4. В ИИ опросы добавили Умное размещение кнопки на сайте.
Теперь в большинстве случаев система будет проверять, если вдруг кнопка опроса начала загораживать какой-то важный элемент (кнопку открывшейся формы, онлайн-чат и тд) - мы будем смещать кнопку опроса так, чтобы она не мешалась.
5. Улучшения AI движка персонализаций - получилось выжать еще около 8.5% сверху от предыдущего бейзлайна
И как обычно - сотни мелких изменений по всему стэку, чтобы сделать еще чуть лучше, быстрее, приятнее и красивее.
Рассказываем, что крутого и классного вышло для стэка для сайта за последние 2 месяца.
1. Добавили реактивность в персонализации, A/B тесты, действия по правилам и опросы
Например, если вы завязались в условиях срабатывания на сумму корзины пользователя, то нужно действие сработает сразу же как только сумма корзины превысит границу, а не после перехода на другую страницу
2. Добавили поточное отслеживание достигнутых конверсий в реальном времени и возможность завязываться на них в условиях срабатывания
Да, теперь можно сделать вот так - "Номер сессии пользователя > 5 И Он не достиг конверсии Оставить заявку ранее" -> Открыть модальное окно "Что вас останавливает?"
Теперь мы сами понимаем, какие вещи являются критическими для отслеживания и не должны зависеть от буфферов (что, например, достижение конверсии Оставить заявку критическое и его нужно отслеживать в реальном времени, даже если пользователь совершает тысячи конверсий каждую сессию"
3. Для A/B тестов добавили новые стратегии остановки:
- По размеру выборки
- Последовательное тестирование
- Бейесовский анализ
В рамках каждой стратегии доступны режимы:
- Лидер против остальных вариантов вместе
- Оригинальный вариант против остальных вариантов вместе
- Лидер против оригинального варианта
- Лидер против второго варианта
С красивыми описаниями каждого сделанного конфига как это будет работать
4. В ИИ опросы добавили Умное размещение кнопки на сайте.
Теперь в большинстве случаев система будет проверять, если вдруг кнопка опроса начала загораживать какой-то важный элемент (кнопку открывшейся формы, онлайн-чат и тд) - мы будем смещать кнопку опроса так, чтобы она не мешалась.
5. Улучшения AI движка персонализаций - получилось выжать еще около 8.5% сверху от предыдущего бейзлайна
И как обычно - сотни мелких изменений по всему стэку, чтобы сделать еще чуть лучше, быстрее, приятнее и красивее.
👍5🔥3❤1
Агент Kohai — версия 0.07
Вышло первое крупное обновление нашего встроенного ИИ-агента Kohai. Перед деталями — важная рамка.
Мы целенаправленно строим Kohai как «маркетинговый Cursor»: переносим основную сложность и ответственность на нашу инфраструктуру, а не на саму модель. При этом избегаем второй крайности — узкой специализации.
Сегодня 95% агентных решений на рынке идут по одному из двух путей:
— Перенос нагрузки на модель
Берется максимально мощная и дорогая модель, которая «вытягивает» задачи за счет brute force. Качество есть, но цена — в 5–20 раз выше. Это частый подход на западном рынке.
— Негенерализированный интеллект
Агент превращается в набор готовых MCP-ручек под типовые сценарии. Работает быстро и дешево, но только в рамках заранее заданных кейсов. Любое отклонение — и система ломается. Это распространенный подход на российском рынке.
Наш путь — третий:
— Переносим сложность на себя, а не на модель
Даем качество «на доллар», тратя 1–2 цента
— Строим универсальный интеллект
Не агент «для Директа», а агент для оркестрации всего маркетинга и внешних систем
Поэтому мы сознательно не идем в сторону готовых MCP-ручек и фокусируемся на общем уровне интеллекта. В том числе сделали собственный (и, похоже, первый в России) мартех-бенчмарк для агентов: прогоняем сотни сценариев и диалогов, оцениваем ответы по множеству метрик.
Результаты относительно первого релиза:
— Качество ответов (точность, полнота, раскрытие темы) выросло в 2.1 раза
— Себестоимость снизилась в 1.8 раза
— Скорость ответа выросла в 1.65 раза
Kohai заметно лучше держит длинные цепочки, абстрактные задачи и многомерные сценарии — когда нужно сходить в несколько источников, сопоставить данные и собрать цельный ответ.
При этом мы пока что избегаем готовых MCP ручек и других "быстрых хаков", что могут дать точечный результат, но скрыть общие проблемы. Версия 0.07 - одновременно и шутка и показатель того, что до полноценной "первой" версии еще пройдет какое-то время (а сам Kohai сейчас - одно из самых горячих мест в нашей разработке)
Вышло первое крупное обновление нашего встроенного ИИ-агента Kohai. Перед деталями — важная рамка.
Мы целенаправленно строим Kohai как «маркетинговый Cursor»: переносим основную сложность и ответственность на нашу инфраструктуру, а не на саму модель. При этом избегаем второй крайности — узкой специализации.
Сегодня 95% агентных решений на рынке идут по одному из двух путей:
— Перенос нагрузки на модель
Берется максимально мощная и дорогая модель, которая «вытягивает» задачи за счет brute force. Качество есть, но цена — в 5–20 раз выше. Это частый подход на западном рынке.
— Негенерализированный интеллект
Агент превращается в набор готовых MCP-ручек под типовые сценарии. Работает быстро и дешево, но только в рамках заранее заданных кейсов. Любое отклонение — и система ломается. Это распространенный подход на российском рынке.
Наш путь — третий:
— Переносим сложность на себя, а не на модель
Даем качество «на доллар», тратя 1–2 цента
— Строим универсальный интеллект
Не агент «для Директа», а агент для оркестрации всего маркетинга и внешних систем
Поэтому мы сознательно не идем в сторону готовых MCP-ручек и фокусируемся на общем уровне интеллекта. В том числе сделали собственный (и, похоже, первый в России) мартех-бенчмарк для агентов: прогоняем сотни сценариев и диалогов, оцениваем ответы по множеству метрик.
Результаты относительно первого релиза:
— Качество ответов (точность, полнота, раскрытие темы) выросло в 2.1 раза
— Себестоимость снизилась в 1.8 раза
— Скорость ответа выросла в 1.65 раза
Kohai заметно лучше держит длинные цепочки, абстрактные задачи и многомерные сценарии — когда нужно сходить в несколько источников, сопоставить данные и собрать цельный ответ.
При этом мы пока что избегаем готовых MCP ручек и других "быстрых хаков", что могут дать точечный результат, но скрыть общие проблемы. Версия 0.07 - одновременно и шутка и показатель того, что до полноценной "первой" версии еще пройдет какое-то время (а сам Kohai сейчас - одно из самых горячих мест в нашей разработке)
🔥10👍2😁2👎1
Улучшение аналитики в каждой её части
1. Добавили товарную аналитику - просмотренные товары, корзины, покупки.
Что за товары, какие категории, наличие, бренды, цены. И не просто отдельно - это интегрировано именно в общую аналитику, а значит вы можете комбинировать это с другими метриками и группировками любым способом.
Товарная карта сайта получается из смарт-фидов, если они есть или строится нами автоматически исходя из данных пользователей, которые по сайту путешествуют.
2. Добавили автоматическую группировку данных:
- ABC анализ
- Квантильная группировка
По выбранной вами метрики. Например, можно легко сгруппировать все источники трафика по по основным группам по объему выручки, что они приносят.
3. Полностью переработали график и его связь с таблицей и легендой. Добавили взаимные подсвечивания, более удобный просмотр данных на графике в сплывающем окошке.
4. Добавили два режима для графика:
- Lin (обычный, линейный)
- Log (логарифмический)
5. Добавили новый вид графика - точки. Очень удобно, когда нужно кластеризировать.
6. Добавили готовые отчеты, фактически, пресеты настроек, которые позволяют не накликивать нужные настройки, а сразу к ним перейти
Обзор
Обзор -> Пульс
Обзор -> Рост
Обзор -> Деньги
Обзор -> Просадки
Продажи
Продажи -> Конверсия
Продажи -> Аудитории
Продажи -> Регионы
Реклама
Реклама -> Каналы
Реклама -> Кампании
Реклама -> Качество
Реклама -> Бренд
Товары
Товары -> Спрос
Товары -> Лидеры
Товары -> Потери
Товары -> Ассортимент
Товары -> Цена
Товары -> Наличие
Сайт
Сайт -> Входы
Сайт -> Выходы
Сайт -> Устройства
7. Добавили автоматические инсайты. Когда вы строите любую статистику, мы пробегаемся по ней и сразу подсвечиваем на какие моменты стоит обратить внимание. Постарались без спама и "капитанских" инсайтов.
Переписали все с нуля с другим подходом, с максимальной ориентацией на то, что на блюдечке должна быть сразу принесена максимальная ценность. На наш взгляд стало радикально лучше.
8. И как и полагается сотни других мелких тюнов, которые не стоят отдельного упоминания. Но в сумме разогнали скорость работы и фронтенда и бекенда в статитике еще где-то на 10-15%.
Два важных момента:
- Товары в большинстве проектов начнут трекаться не сразу в полном объеме, но в течении пары дней
- На все проекты новый функционал будет раскатан до конца дня
1. Добавили товарную аналитику - просмотренные товары, корзины, покупки.
Что за товары, какие категории, наличие, бренды, цены. И не просто отдельно - это интегрировано именно в общую аналитику, а значит вы можете комбинировать это с другими метриками и группировками любым способом.
Товарная карта сайта получается из смарт-фидов, если они есть или строится нами автоматически исходя из данных пользователей, которые по сайту путешествуют.
2. Добавили автоматическую группировку данных:
- ABC анализ
- Квантильная группировка
По выбранной вами метрики. Например, можно легко сгруппировать все источники трафика по по основным группам по объему выручки, что они приносят.
3. Полностью переработали график и его связь с таблицей и легендой. Добавили взаимные подсвечивания, более удобный просмотр данных на графике в сплывающем окошке.
4. Добавили два режима для графика:
- Lin (обычный, линейный)
- Log (логарифмический)
5. Добавили новый вид графика - точки. Очень удобно, когда нужно кластеризировать.
6. Добавили готовые отчеты, фактически, пресеты настроек, которые позволяют не накликивать нужные настройки, а сразу к ним перейти
Обзор
Обзор -> Пульс
Обзор -> Рост
Обзор -> Деньги
Обзор -> Просадки
Продажи
Продажи -> Конверсия
Продажи -> Аудитории
Продажи -> Регионы
Реклама
Реклама -> Каналы
Реклама -> Кампании
Реклама -> Качество
Реклама -> Бренд
Товары
Товары -> Спрос
Товары -> Лидеры
Товары -> Потери
Товары -> Ассортимент
Товары -> Цена
Товары -> Наличие
Сайт
Сайт -> Входы
Сайт -> Выходы
Сайт -> Устройства
7. Добавили автоматические инсайты. Когда вы строите любую статистику, мы пробегаемся по ней и сразу подсвечиваем на какие моменты стоит обратить внимание. Постарались без спама и "капитанских" инсайтов.
Переписали все с нуля с другим подходом, с максимальной ориентацией на то, что на блюдечке должна быть сразу принесена максимальная ценность. На наш взгляд стало радикально лучше.
8. И как и полагается сотни других мелких тюнов, которые не стоят отдельного упоминания. Но в сумме разогнали скорость работы и фронтенда и бекенда в статитике еще где-то на 10-15%.
Два важных момента:
- Товары в большинстве проектов начнут трекаться не сразу в полном объеме, но в течении пары дней
- На все проекты новый функционал будет раскатан до конца дня
🔥5👍3
Прямая интеграция с UIS (бывший Comagic) и Amo CRM
Расширяем наш пул прямых интеграций для повышения качества метчинга, меньшей зависимости от Метрики и её ограничений.
1. Возможность и в UIS и в Амо делать очень гибкую конфигурацию, но при этом автоматика будет сама подсказывать как и где лучше, чтобы не запутались
2. Можно подвязываться на разные "человеческие статусы" как фильтры
3. Можно тянуть выручку из полей, если она заполняется
В остальном как в других прямых интеграциях - умный метчинг и все прелести ML 😁
Расширяем наш пул прямых интеграций для повышения качества метчинга, меньшей зависимости от Метрики и её ограничений.
1. Возможность и в UIS и в Амо делать очень гибкую конфигурацию, но при этом автоматика будет сама подсказывать как и где лучше, чтобы не запутались
2. Можно подвязываться на разные "человеческие статусы" как фильтры
3. Можно тянуть выручку из полей, если она заполняется
В остальном как в других прямых интеграциях - умный метчинг и все прелести ML 😁
🔥8❤2👍1
Платформа над платформой и резкое ускорение выхода обновлений
Какое-то время назад коллеги из VK поделились интересным обновлением:
https://habr.com/ru/companies/vk/articles/990514/
Речь шла о том, как они построили “платформу под платформой” — ML-инфраструктуру, которая одновременно:
— максимально универсальна и мало зависит от конкретного сценария использования
— но при этом идеально адаптирована под нужды всех внутренних продуктов
Звучит как противоречие, но на практике — нет.
Примерно этим же последние полгода занимались и мы.
В какой-то момент стало понятно, что инерция роста на старой архитектуре рано или поздно начнет замедляться. Мы постепенно упирались в две фундаментальные границы:
— Старая ML-инфраструктура во многом строилась вокруг нашего пикселя и данных вокруг него
— Стандартные ML-библиотеки, “общепринятые рельсы” и готовые подходы начали давать больше ограничений и условностей, чем пользы — по мере того, как наши задачи все дальше уходили от классического мейнстрима
И
все это происходило в условиях, где инфраструктура должна оставаться максимально дешевой.
Объем вызовов ML-моделей у нас давно перевалил за сотни миллиардов в месяц. При этом:
— появляются новые ML-фичи
— растет количество инфраструктурных ML-вызовов
— дорожает даже поддержка существующего функционала
И все это — без повышения цен для текущих клиентов. На фоне инфляции, роста стоимости железа и фактически x2 роста налоговой нагрузки за год.
Впервые мы по-настоящему почувствовали границы старого подхода, когда для следующей большой итерации персонализации оказалось проще написать собственный ML-движок с нуля, чем пытаться выразить все усложняющиеся сценарии на “стандартных рельсах”.
В итоге параллельно с основными продуктами мы постепенно строили платформу над платформой:
— новые рельсы для моделей
— новые рельсы для жизненного цикла
— новые рельсы для метрик
— новую инфраструктуру R&D
— и новые низкоуровневые ML-механики, местами уже окончательно порвавшие со стандартными подходами
Результат:
— резкое ускорение цикла R&D
— куда более быстрый выпуск обновлений
— сильное расширение границ того, что вообще можно реализовывать
— и платформа, поверх которой теперь можно строить очень много новых историй
И мы пишем это не как "ждите от нас кучу обновлений через месяц". Большая часть обновлений уже вышла или почти на подходе. Так что остаток мая вы будете читать новости в этом канале чуть ли не каждый день 😁
Какое-то время назад коллеги из VK поделились интересным обновлением:
https://habr.com/ru/companies/vk/articles/990514/
Речь шла о том, как они построили “платформу под платформой” — ML-инфраструктуру, которая одновременно:
— максимально универсальна и мало зависит от конкретного сценария использования
— но при этом идеально адаптирована под нужды всех внутренних продуктов
Звучит как противоречие, но на практике — нет.
Примерно этим же последние полгода занимались и мы.
В какой-то момент стало понятно, что инерция роста на старой архитектуре рано или поздно начнет замедляться. Мы постепенно упирались в две фундаментальные границы:
— Старая ML-инфраструктура во многом строилась вокруг нашего пикселя и данных вокруг него
— Стандартные ML-библиотеки, “общепринятые рельсы” и готовые подходы начали давать больше ограничений и условностей, чем пользы — по мере того, как наши задачи все дальше уходили от классического мейнстрима
И
все это происходило в условиях, где инфраструктура должна оставаться максимально дешевой.
Объем вызовов ML-моделей у нас давно перевалил за сотни миллиардов в месяц. При этом:
— появляются новые ML-фичи
— растет количество инфраструктурных ML-вызовов
— дорожает даже поддержка существующего функционала
И все это — без повышения цен для текущих клиентов. На фоне инфляции, роста стоимости железа и фактически x2 роста налоговой нагрузки за год.
Впервые мы по-настоящему почувствовали границы старого подхода, когда для следующей большой итерации персонализации оказалось проще написать собственный ML-движок с нуля, чем пытаться выразить все усложняющиеся сценарии на “стандартных рельсах”.
В итоге параллельно с основными продуктами мы постепенно строили платформу над платформой:
— новые рельсы для моделей
— новые рельсы для жизненного цикла
— новые рельсы для метрик
— новую инфраструктуру R&D
— и новые низкоуровневые ML-механики, местами уже окончательно порвавшие со стандартными подходами
Результат:
— резкое ускорение цикла R&D
— куда более быстрый выпуск обновлений
— сильное расширение границ того, что вообще можно реализовывать
— и платформа, поверх которой теперь можно строить очень много новых историй
И мы пишем это не как "ждите от нас кучу обновлений через месяц". Большая часть обновлений уже вышла или почти на подходе. Так что остаток мая вы будете читать новости в этом канале чуть ли не каждый день 😁
Хабр
Как AI VK построили единую платформу для рекомендаций, поиска и рекламы в продуктах с многомиллионной аудиторией
Привет! На связи команда рекомендаций AI VK. Фактически в каждом продукте есть и рекомендации и поиск, и чтобы каждой команде не приходилось изобретать свой «велосипед», мы разработали единую...
🔥5❤3
Системные модели
Начнем мы пожалуйста с самого небольшого - мы теперь умеем вычислять с высокой точностью пол, возраст, доход и интересы пользователя в реальном времени.
Для каждого проекта мы автоматически будем тренировать эти модели (вернее даже калибровать под каждый проект)
Эти данные можно будет посмотреть в аналитике.
Но самое главное - эти данные будут автоматически учитываться во всех других моделях (персонализации, моделируемые конверсии, аудиторные сегменты, антибот и тд), повышая потолок качества их обучения и чувствительности.
Начнем мы пожалуйста с самого небольшого - мы теперь умеем вычислять с высокой точностью пол, возраст, доход и интересы пользователя в реальном времени.
Для каждого проекта мы автоматически будем тренировать эти модели (вернее даже калибровать под каждый проект)
Эти данные можно будет посмотреть в аналитике.
Но самое главное - эти данные будут автоматически учитываться во всех других моделях (персонализации, моделируемые конверсии, аудиторные сегменты, антибот и тд), повышая потолок качества их обучения и чувствительности.
🔥6👍3
Улучшения смарт-фидов
1. Движок смарт-фидов значительно улучшился в несколько итераций (сегодня вышла последняя и самая значимая).
Нам удалось в среднем радикально поднять предиктивную товарную чувствительность. Например, если раньше на проекте Х (реальный проект) топ 1% товаров в смарт-фиде по оценке привлекал 10.4% от общей выручки покупок в течении следующих 7 дней, то сейчас на том же проекте 1% товаров уже 51% выручки. В среднем повышение составило в 2-3 раза, в зависимости от проекта.
Самая большая сложность была не в том, чтобы отличать хороший товар от плохого, а отличать хороший товар от другого хорошего товара, плохой от плохого и средний от среднего. Нужен был еще один скачок чувствительности и у нас получилось его достичь (хлоп-хлоп).
Как получилось сделать скачок, каких переделок это стоило, усложнений и без того сложной архитектуры, новых экстракций и обогащения данных - тема отдельной большой статьи на Хабре. Писать мы её, конечно, не будем.
2. В смарт-фидах есть функционал улучшения заголовков и описаний товаров, но кто улучшит сам функционал? Улучшили, получилось сделать еще приятнее и "выжимать" хороший контент, даже когда вводных совсем мало.
3. Теперь можно задать конкретный тайм-слот внутри дня, когда будут пересчитываться смарт-фиды. Удобно, если наши смарт-фиды находятся где-то в середине сложного пайплайна.
4. Добавили автоматическое превью прямо в редактор. Теперь можно менять настройки динамических стратегий и сразу видеть сколько товаров останется в экспорте. А еще статистику распределения ценности, разбивку по основным категориям и остальные цифры, предсказывающие, что произойдет с такими настройками.
5. Теперь в смарт-баннерах учитывается, что разные товары имеют разную оценочную стоимость клика трафика, который на них переходит.
6. А так же много мелких улучшений редактора смарт-фида, которые дают больше информации о самом фиде и меньше шансов вам ощутимо накосячить.
1. Движок смарт-фидов значительно улучшился в несколько итераций (сегодня вышла последняя и самая значимая).
Нам удалось в среднем радикально поднять предиктивную товарную чувствительность. Например, если раньше на проекте Х (реальный проект) топ 1% товаров в смарт-фиде по оценке привлекал 10.4% от общей выручки покупок в течении следующих 7 дней, то сейчас на том же проекте 1% товаров уже 51% выручки. В среднем повышение составило в 2-3 раза, в зависимости от проекта.
Самая большая сложность была не в том, чтобы отличать хороший товар от плохого, а отличать хороший товар от другого хорошего товара, плохой от плохого и средний от среднего. Нужен был еще один скачок чувствительности и у нас получилось его достичь (хлоп-хлоп).
Как получилось сделать скачок, каких переделок это стоило, усложнений и без того сложной архитектуры, новых экстракций и обогащения данных - тема отдельной большой статьи на Хабре. Писать мы её, конечно, не будем.
2. В смарт-фидах есть функционал улучшения заголовков и описаний товаров, но кто улучшит сам функционал? Улучшили, получилось сделать еще приятнее и "выжимать" хороший контент, даже когда вводных совсем мало.
3. Теперь можно задать конкретный тайм-слот внутри дня, когда будут пересчитываться смарт-фиды. Удобно, если наши смарт-фиды находятся где-то в середине сложного пайплайна.
4. Добавили автоматическое превью прямо в редактор. Теперь можно менять настройки динамических стратегий и сразу видеть сколько товаров останется в экспорте. А еще статистику распределения ценности, разбивку по основным категориям и остальные цифры, предсказывающие, что произойдет с такими настройками.
5. Теперь в смарт-баннерах учитывается, что разные товары имеют разную оценочную стоимость клика трафика, который на них переходит.
6. А так же много мелких улучшений редактора смарт-фида, которые дают больше информации о самом фиде и меньше шансов вам ощутимо накосячить.
👍4🔥4
ИИ картинки к постам с кратким объяснением на пальцах?
Anonymous Poll
67%
Стало лучше
33%
Не нравится
Время улучшений персонализаций!
Наша серия постов про кардинальные улучшения текущего стэка продолжается (а вы думали, что мы пошутили, что обновлений хватит на новость каждый день до конца мая?)
Персонализации, с которых пол года назад и началась большая история с новым большим движком как Уроборос замкнули цикл и стали одним из главных выгодополучателей:
1. Предиктивные возможности, которые дали нам возможность с высокой точностью вычислять пол, возраст, платежоспособность и интересы пользователя дали доступ к важной новой информации для ML моделей персонализаций.
2. И вы наверно подумали, что эти данные были использованы как фичи моделей персонализации, чем и был обусловлен основной прирост. Как ни странно нет, чистые данные по полу, возрасту и другим параметрам помогли выжать всего +5%.
3. А вот усовершенствования движка, полученные благодаря новой "базе" (платформой под платформой) вместе новыми данными позволили выжать +32.7% сверху от прошлой базы (оценка метрик новых моделей на холдауте)
4. Так же существенно улучшили один из самых чувствительных моментов в персонализации - давление на объем конверсий (в персонализации из 5 вариантов конверсии мажутся тонким слоем между вариантами). Конверсии, конечно, все еще важны - но теперь зависимость от их количества в неделю стала сильно меньше.
5. Но есть и небольшая ложка дегтя - в несколько раз стал дороже инференс (вызов модели), что будет добавлять примерно +0.1-2 мс сверху (в основном зависит от количества активных персонализаций у вас, но много проектов, где их по 50 штук). Но относительно общего времени выполнения запроса (50-100 мсек), которое состоит в основном из путешествия сигнала до сервера и обратно - ощущаться не будет, а скачок качества работы того стоит.
Так же помните, что улучшение моделей именно ваших персонализаций будет применено в следующем обучении той или иной персонализации, не автоматически.
Наша серия постов про кардинальные улучшения текущего стэка продолжается (а вы думали, что мы пошутили, что обновлений хватит на новость каждый день до конца мая?)
Персонализации, с которых пол года назад и началась большая история с новым большим движком как Уроборос замкнули цикл и стали одним из главных выгодополучателей:
1. Предиктивные возможности, которые дали нам возможность с высокой точностью вычислять пол, возраст, платежоспособность и интересы пользователя дали доступ к важной новой информации для ML моделей персонализаций.
2. И вы наверно подумали, что эти данные были использованы как фичи моделей персонализации, чем и был обусловлен основной прирост. Как ни странно нет, чистые данные по полу, возрасту и другим параметрам помогли выжать всего +5%.
3. А вот усовершенствования движка, полученные благодаря новой "базе" (платформой под платформой) вместе новыми данными позволили выжать +32.7% сверху от прошлой базы (оценка метрик новых моделей на холдауте)
4. Так же существенно улучшили один из самых чувствительных моментов в персонализации - давление на объем конверсий (в персонализации из 5 вариантов конверсии мажутся тонким слоем между вариантами). Конверсии, конечно, все еще важны - но теперь зависимость от их количества в неделю стала сильно меньше.
5. Но есть и небольшая ложка дегтя - в несколько раз стал дороже инференс (вызов модели), что будет добавлять примерно +0.1-2 мс сверху (в основном зависит от количества активных персонализаций у вас, но много проектов, где их по 50 штук). Но относительно общего времени выполнения запроса (50-100 мсек), которое состоит в основном из путешествия сигнала до сервера и обратно - ощущаться не будет, а скачок качества работы того стоит.
Так же помните, что улучшение моделей именно ваших персонализаций будет применено в следующем обучении той или иной персонализации, не автоматически.
🔥5👍1
Новый формат (больше картинок, дизайн как на лендинге)
Anonymous Poll
70%
Лучше прошлого варианта
30%
Хуже прошлого варианта
10%
Не нужны нам эти ваши картинки!
Универсальная моделируемая конверсия
Да, обновлений все еще хватает, чтобы писать по новости каждый день. Будем чередовать просто интересные и самые разрывные - сейчас одно из разрывных.
Как работают обычные моделируемые конверсии?
1. Мы копим какой-то объем первичных конверсий
2. На основе этих конверсий, поведенческих данных с сайта, обогащений тренируется множество моделей, которое складывается в моделируемую конверсию
То есть данные -> моделируемая конверсия
Проблема в том, что:
1. Приходится ждать какое-то время на сбор данных, прежде чем мы можем начать работу
2. Есть множество проектов, где это "время" - весьма продолжительное
3. Есть проекты, где конверсий нет как таковых - например, FMCG товары
4. А еще так уж повелось, что чем на проекте меньше конверсий, тем эти конверсии грязнее по качеству (что впрочем мы умеем решать, но тем не менее)
Поэтому мы сделали моделируемую конверсию наоборот - универсальную моделируемую конверсию. Одну из самых экстремально сложных вещей, которые мы делали. Она не требует никакого предварительного обучения. Включили и она сразу начинает передавать виртуальные конверсии, используя реальные цели и минус-цели (если они вообще есть!) только для калибровки и адаптации. Впрочем, УМК и без любой калибровки в среднем очень хорошо калибруется под каждый проект, даже если не указывать никакие цели для доп калибровки.
На первый взгляд, кажется что тут есть какое-то противоречие. Ведь:
1. Все сайты, все проекты чудовищно разные. Как можно сравнивать интернет-магазин, сайт банка и лендинг недвижимости, где люди просто звонят?
2. Даже если сегментировать проекты на условные "типы", то сайт - это ведь просто HTML и в лучшем случае какие-то микроконверсии. И HTML и микроконверсии будут свои на каждом сайте. Сколько там CMS на рынке? Тысячи. А еще самописные сайты, сложные SPA приложения. Да даже 2 сайта на Тильде будут совсем разные, потому что Тильда после каждого деплоя генерирует кучу мусорных технических вещей.
3. Даже попытка натренировать общую модель на 5-10 заранее фиксированных сайтов, то такая модель будет иметь очень слабые предикативные возможности, нулевое качество - она просто "затупится" от противоположного сигнала. Что уж там говорить про сотни и тысячи сайтов, которые мы никогда в жизни и не видели?
А ведь надо, чтобы такая модель не просто работала, не просто была красивым аналогом активности, а реально вела из рекламы кого нужно и учитывала подразумеваемое, но не высказанное (что лид должен быть не просто лидом, но стать квалом. И что нужна не просто покупка этого квал лида, но и желательно с чеком побольше).
УМК была одним из наших долгих и сложных исследовательских проектов, которые мы взращивали, стабилизировали, улучшали в сотнях итераций и самых сложных гипотез. Чтобы не просто было, а сразу было хорошо. УМК и обычную моделируемую конверсию можно сравнить с фигурками из льда. Обычная моделируемая конверсия - это художественная резьба, выполненная мастером по детальному эскизу. УМК - это вода, которую заливают в какую-то заготовку (сайт) и быстро окунают в жидкий азот. Теоретический потолок качества УМК разумеется ниже, чем у классической моделируемой конверсии, обученной на хорошем объеме конверсий. Но и нужна УМК тогда. когда этого объема конверсий просто нет.
95% деталей реализации УМК так и останутся скрытыми, но отметим то, что внутри УМК отчасти похожа на современные большие языковые модели в части их MoE структуры. Только в LLM над MoE обычно используется роутер, который и решает какие параметры активировать, а мы решаем это куда сложнее и автоматизированнее.
Добавить универсальную моделируемую конверсию можно в Моделируемых конверсиях, теперь кнопка Добавить будет предлагать сразу три варианта - классические моделируемые конверсии, универсальную моделируемую конверсию ... и третий 😁
А про третий вариант расскажем на следующей неделе.
Да, обновлений все еще хватает, чтобы писать по новости каждый день. Будем чередовать просто интересные и самые разрывные - сейчас одно из разрывных.
Как работают обычные моделируемые конверсии?
1. Мы копим какой-то объем первичных конверсий
2. На основе этих конверсий, поведенческих данных с сайта, обогащений тренируется множество моделей, которое складывается в моделируемую конверсию
То есть данные -> моделируемая конверсия
Проблема в том, что:
1. Приходится ждать какое-то время на сбор данных, прежде чем мы можем начать работу
2. Есть множество проектов, где это "время" - весьма продолжительное
3. Есть проекты, где конверсий нет как таковых - например, FMCG товары
4. А еще так уж повелось, что чем на проекте меньше конверсий, тем эти конверсии грязнее по качеству (что впрочем мы умеем решать, но тем не менее)
Поэтому мы сделали моделируемую конверсию наоборот - универсальную моделируемую конверсию. Одну из самых экстремально сложных вещей, которые мы делали. Она не требует никакого предварительного обучения. Включили и она сразу начинает передавать виртуальные конверсии, используя реальные цели и минус-цели (если они вообще есть!) только для калибровки и адаптации. Впрочем, УМК и без любой калибровки в среднем очень хорошо калибруется под каждый проект, даже если не указывать никакие цели для доп калибровки.
На первый взгляд, кажется что тут есть какое-то противоречие. Ведь:
1. Все сайты, все проекты чудовищно разные. Как можно сравнивать интернет-магазин, сайт банка и лендинг недвижимости, где люди просто звонят?
2. Даже если сегментировать проекты на условные "типы", то сайт - это ведь просто HTML и в лучшем случае какие-то микроконверсии. И HTML и микроконверсии будут свои на каждом сайте. Сколько там CMS на рынке? Тысячи. А еще самописные сайты, сложные SPA приложения. Да даже 2 сайта на Тильде будут совсем разные, потому что Тильда после каждого деплоя генерирует кучу мусорных технических вещей.
3. Даже попытка натренировать общую модель на 5-10 заранее фиксированных сайтов, то такая модель будет иметь очень слабые предикативные возможности, нулевое качество - она просто "затупится" от противоположного сигнала. Что уж там говорить про сотни и тысячи сайтов, которые мы никогда в жизни и не видели?
А ведь надо, чтобы такая модель не просто работала, не просто была красивым аналогом активности, а реально вела из рекламы кого нужно и учитывала подразумеваемое, но не высказанное (что лид должен быть не просто лидом, но стать квалом. И что нужна не просто покупка этого квал лида, но и желательно с чеком побольше).
УМК была одним из наших долгих и сложных исследовательских проектов, которые мы взращивали, стабилизировали, улучшали в сотнях итераций и самых сложных гипотез. Чтобы не просто было, а сразу было хорошо. УМК и обычную моделируемую конверсию можно сравнить с фигурками из льда. Обычная моделируемая конверсия - это художественная резьба, выполненная мастером по детальному эскизу. УМК - это вода, которую заливают в какую-то заготовку (сайт) и быстро окунают в жидкий азот. Теоретический потолок качества УМК разумеется ниже, чем у классической моделируемой конверсии, обученной на хорошем объеме конверсий. Но и нужна УМК тогда. когда этого объема конверсий просто нет.
95% деталей реализации УМК так и останутся скрытыми, но отметим то, что внутри УМК отчасти похожа на современные большие языковые модели в части их MoE структуры. Только в LLM над MoE обычно используется роутер, который и решает какие параметры активировать, а мы решаем это куда сложнее и автоматизированнее.
Добавить универсальную моделируемую конверсию можно в Моделируемых конверсиях, теперь кнопка Добавить будет предлагать сразу три варианта - классические моделируемые конверсии, универсальную моделируемую конверсию ... и третий 😁
А про третий вариант расскажем на следующей неделе.
👍4🔥4
Иллюстрации
Anonymous Poll
80%
Лучше чем в прошлом посте (для персонализаций)
10%
Хуже
10%
Я хочу читать, а не смотреть! Надоели