ML Advertising

Research команда по Монетизационной эффективности Авито выкатила опенсорс-библиотеку Benchmark for Auto-bidding Task (BAT) для тестирования алгоритмов ставок в рекламе + научную статью по ней. Работа представлена на конференции The ACM Web Conference 2025.

Для начала определимся с периметром задач. Конкретно в этой работе авторы ограничились кликами, попаданием в ограничения по CPC и управлением открутки бюджета рекламной кампании (РК).

Были поставлены две цели:
- купить максимальное количество кликов на единицу открученного бюджета, т.е. максимизируем CTR, при ограничении на CPC
- обеспечить budget pacing, т.е. обеспечить равномерный расход бюджета без under/over delivery

➡️ Что по данным?
Боевые данные Авито анонимизированы и предоставленные по first-price (FP) аукциону с 10М аукционов и 9К РК и VCG с 1М аукционов и 2.5К РК за 2024 год. Данные агрегированы по часам и бакетам ставок. Далее буду рассматривать результаты конкретно для FP аукционов, поскольку именно они преобладают в программатике.

➡️ Какие эксперименты проводились?
Всего было 3 эксперимента
- Классический budget pacing. Замерялась средняя квадратичная ошибка (RMSE) попадания в финальный бюджет + количество кликов на единицу открученного бюджета
- CPC constraint. Таргет CPC искуственно занижался в 10 раз, чтобы проверить алгоритмы на сложности его достижения
- Click gain. Тест чисто на получение максимального количества кликов при фиксированном CPC

➡️ Что по алгоритмам?
В статье авторы рассмотрели 5 алгоритмов budget pacing/ CTR разной сложности

Линейный (ALM Adaptive Linear Model)
Самый простой в реализации: смотрим наклон кривой с двух предыдущих точек открученного бюджета и считаем новую ставку с учетом остатка. В тестах использовался больше, как бейзлайн для сравнения.

Traffic-aware PID (TA-PID)
Регулятор с обратной связью 3мя коэффами. Хорош тем, что прост в реализации и контролирует расход бюджета в соотвествии с профилем трафика (например за сутки). Budget pacing управляется PID регулятором, настроенном на историческом трафике. Стал лучшим по click gain. При этом в эксперименте на pacing показал себя хуже на равномерности открутки по RMSE, хотя выдал 2й результат по сумме кликов.

Model Predictive PID (M-PID)
Более сложная версия PID регулятора, где можно явно реализовать ограничения на CPC и максимизацию CTR в дополнении к pacing'у. Хорошо отработал по открутке бюджета показав 2й результат по RMSE и близкое количество кликов с TA-PID и стал лучшим в тесте на попадание в ограничения по CPC относительно BROI (в эксперименте на CPC тестировались всего 2 модели).

Mystique
Продовый алгоритм от Yahoo заточен чисто под budget pacing. Он контролирует равномерное расходование бюджета с обратной связью тоже на основе времени до конца РК и суммы неизрасходованного бюджета. При этом ограничений на CPC не накладывается. В эксперименте на budget pacing ожидаемо стал лучшим, хотя кликов пропустил в 2 раза меньше остальных. Считаю, что есть риски получить на проде заниженный CTR и закупку более дорогого трафика, когда это не нужно.

BROI (Budget + ROI Constraints)
Алгоритм, который теоретически гарантирует >50% от оптимума по CPC, который был применен в качестве ROI. На боевых данных Авито выдал мало кликов и высокий CPC.

Из всех алгоритмов я бы выбрал M-PID по совокупному результату с 3х тестов
- достаточное попадание в бюджет на pacing'е
- высокий click gain с небольшим отставанием от TA-PID
- низкий CPC

По реализациии ввиду добавления ограничений на CPC, нужно навесить linprog вдобавок к PID регулятору.

➡️ Мнение по работе?
На мой взгляд библиотека отличная. Авторы проделали большую работу и по сбору данных, и в формулировке мат. задачи, и в экспериментах над разными алгоритмами.

В целом этот бенчмарк подойдет и для других задач кроме pacing'а и максимизации CTR, CVR. Его можно использовать и для viewability, completion, маржинальности в аукционах header bidding etc. Код библиотеки адаптирован не только под PID регуляторы, но подойдет для разных типов биддеров.

Проходите по ссылке и накидайте звездочек 🌟 в репозиторий!

GitHub

GitHub - avito-tech/bat-autobidding-benchmark

Contribute to avito-tech/bat-autobidding-benchmark development by creating an account on GitHub.

🔥10❤2👍2

1.21K views09:02