Всем привет! Меня зовут Саша @ploshkin, а это мой канал ML-ной направленности: здесь ситуативные разборы статей, случайные мемы и нерегулярные репосты более популярных каналов

Я руковожу группой в R&D рекомендательных технологий Яндекса. Днём мы разрабатываем новые методы ранжирования рекламы, а в свободное время контрибьютим в опенсорс — в 2025, например, выложили Yambda

Но так было не всегда — до перехода в рексистемы я 5 лет занимался разным компьютерным зрением, а в универе копал в 3D- и 360-видео в видеогруппе МГУ

В этом сезоне у меня есть ощущение, что ad tech — очень интересная область. В ней сочетаются подходы из современных рексистем, теория аукционов, дизайн механизмов, высокие нагрузки и разные костыли, чтобы всё это работало. Я неплохо шарю в части рекомендательного стека и хочу разобраться в остальном

Помимо этого мне нравится recsys в целом, т.к. это одна из последних областей DL, в которой до сих пор нет единого подхода и накручивания бенчмарков через агентов и тулколлинг. В общем, по сравнению с NLP и CV здесь дикий запад — и это весело!

Поэтому в ближайшее время планирую тут писать про
• устройство рекламных сетей в целом
• математику аукционов
• новые подходы в ранжировании
• генеративные и end-to-end рексистемы

Зачем нужны аукционы в рекламных сетях

Рекламы в интернете много, и это очень прибыльная область. Судя по фин. отчётам, у яндекса она составляет 30% годовой выручки, у гугла 70% и у меты почти 100%. Я даже слышал мысль, что общий объём трат на рекламу всегда занимает некоторую фиксированную долю от ВВП

Может показаться, что если вы умеете накидать двухбашенную модель и выучить распределение p(click|show), то дело останется за малым — привлечь рекламодателей, подключить площадки и начать откручивать баннеры, собирая при этом котлеты денег. Но всё немного сложнее

В реальности у интернет-рекламы есть 3 стороны, каждая из которых оптимизирует свою выгоду:
1. пользователь — в идеале сидит с адблоком, но если нет, то хочет релевантную рекламу, ведущую к покупке;
2. рекламодатель — хочет вложить фиксированный бюджет и получить за него максимум продаж;
3. площадка — максимизирует долгосрочный доход с учётом удержания пользователей и рекламодателей.

Итого мы имеем двусторонний рынок: площадки предоставляют услуги по размещению рекламы, рекламодатели выкупают эти размещения. Аудитория выступает регуляризатором — нельзя подсунуть всем кликбейт или дорогие нерелевантные баннеры и рассчитывать, что трафик через месяц не обнулится

На этом рынке стороны имеют разную приватную информацию: рекламодатель знает, сколько для него стоит привлечение клиента, а рекламная сеть обладает данными о пользователях и умеет предсказывать p(click|show) = pCTR. Возникает задача: распределить дефицитный слот между рекламодателями при условии разной ценности для них

Для этого и появляется аукцион: каждый рекламодатель делает ставку, сколько он готов заплатить за то, чтобы его баннер увидел конкретный пользователь в конкретном контексте. При этом ставка должна отражать ценность привлечения клиента для его бизнеса, а как этого добиться — отдельная большая тема. В итоге ранжирование происходит по формуле:

eCPM = bid × pCTR × pCVR (× quality)

Она объединяет интересы обеих сторон рынка и отражает ценность для рекламодателя — в идеальном мире это буквально доход, который получает рекламодатель от 1000 показов (осторожно! тут неочевидный переход от расходов к доходам — об этом поговорим в посте про дизайн аукционов). А в множитель quality (в некоторых системах это аддитивная добавка) зашиты все возможные костыли, которые в маркетинговых материалах можно обозвать "качеством баннера"

Самая ML-ная часть находится в компоненте pCTR × pCVR — здесь работает полноценный рекомендательный стек с кандидатогенерацией, сложными нейросетевыми фичами и несколькими стадиями ранжирования. В некоторых компаниях научились заменять его на генеративную end-to-end систему и сверху наворачивать стадию алайнмента — про это обязательно будет серия постов

Важно понимать, что прод устроен значительно сложнее — система умеет обрабатывать разные варианты оплаты (за показы, клики или конверсии), делать ставки за рекламодателя в зависимости от скорости трат, проклеивать конверсии с сайтов рекламодателей и много чего ещё

———
CTR = click-through rate
CVR = conversion rate
CPM = cost per mille
eCPM = effective CPM

^ перезалив в правильном порядке 🤌🏻

Разобрал Meta Lattice в Рекомендательной:

https://t.me/RecSysChannel/247

Дизайн механизмов

Итак, аукцион решает проблему распределения слотов между рекламодателями в условиях приватной информации — ценность известна только самому участнику и никому больше. Формально, аукцион состоит из двух функций:
• ранжирование / аллокация — кто какой слот займёт;
• выплаты — кто сколько должен за это заплатить.

То есть в общем случае победитель платит не величину своей ставки, а что-то иное. В целом можно крутить формулу ранжирования и правило выплат независимо и получать разные всратые виды аукционов, в которых, правда, участвовать никто не будет. А как сделать так, чтобы участвовали?

На этот вопрос отвечает раздел теории игр под названием дизайн механизмов — это не про то, как сделать станок для завода, а как спроектировать рыночный механизм, обладающий определёнными свойствами

Важным свойством аукциона является правдивость (truthfulness): участник максимизирует ценность для себя при любом поведении остальных, делая честную ставку. Если перефразировать, то в правдивом аукционе никому не выгодно завышать или занижать ставки относительно своей ценности. Бывают ли такие аукционы? Бывают. Но начнём с простого:

Пусть у нас есть один слот и несколько рекламодателей, победитель платит ровно столько, сколько он поставил — это называется аукционом первой цены (first-price)

First-price не правдив

Это легко понять интуитивно. Например, после проведения аукциона ставки распределились так: bid(A) = 10 фишек, bid(B) = 20, bid(C) = 5. Побеждает B, и он должен заплатить 20 фишек, хотя поставь он 11, он точно так же получил бы слот, сэкономив 9 фишек. Такой мысленный эксперимент могут провести все участники и прийти к Умозаключению — в first-price выгодно занижать ставку

А вот если бы мы ввели оплату по следующей за победителем ставке? По такой логике работает аукцион второй цены (second-price), он же аукцион Викри. В нём ставка участника не определяет его платёж, она лишь влияет на факт победы

Second-price правдив

Это следствие из леммы Майеросона, простыми словами формулирующееся так: аукцион будет правдив, если победитель платит пороговую ставку, при которой он бы победил — то есть вторую цену. Отсюда очень прикольный фундаментальный вывод:

дизайн правдивого аукциона полностью определяется функцией ранжирования, а функция выплат идёт с ней в комплекте

Поэтому дальше поговорим про функцию ранжирования по eCPM

———
Если немного погуглить, то окажется, что рекламные сети вроде Google Ads или РСЯ отошли от правдивых аукционов и пользуются простым first-price. А чё так? Очень упрощённый ответ: так произошло из-за нарушения одного из условий в лемме Майерсона — она предполагает, что аукцион проводит единственный организатор

В реальности же рекламных бирж много, и ставки могут проходить через несколько аукционов, преобразовываясь по пути: ставка на выходе second-price — это, собственно, вторая цена. В итоге некоторые рекламные биржи начали использовать first-price, зачастую перебивая ставки от second-price. Поиск рыночного равновесия сместился от рекламодателей к биржам, и там устойчивым решением оказался first-price

Как продать картину подороже?

Допустим, вы хотите продать картину. Её себестоимость — это материалы: холст, масло, расходники и время на её написание. Их легко оценить в деньгах. Но вот ценность картины для рынка складывается из очень субъективных аспектов: личности и образа автора, содержания, стиля, контекста и много чего ещё. При этом восприятие может сильно варьироваться между потенциальными покупателями

Чтобы продать картину подороже, вам нужно найти того, кто готов предложить больше остальных. Если вы лично такого не знаете, то самый надёжный способ — дать рыночку порешать — и для этого существуют разные типы аукционов

В сфере искусства больше всего распространён английский аукцион:
• торги начинаются со стартовой цены
• существует закрытая резервная цена, ниже которой продавец не готов расставаться с товаром
• участники аукциона повышают цену с некоторым шагом (в зависимости от правил площадки повышение может быть нефиксированным)
• покупатель с самой высокой ставкой забирает товар за названную цену
• остальные не платят ничего

Примерно на таком аукционе порезали шредером работу Бэнкси, и она стала стоить вдвое дороже. Из правил следует, что все участники видят текущую ставку — то есть аукцион открытый. Ставки идут на повышение — аукцион прямой. Сами торги могут занимать существенное время, т.к. участники делают ставки до тех пор, пока цена не зафиксируется

А если нужно продать что-то побыстрее? Ну например рыбу или цветы, для которых лишняя минута влияет на качество. Для этого придумали голландский аукцион:
• торги начинаются со стартовой цены
• ведущий понижает цену с фиксированным шагом раз в некоторое время
• первый, кто согласен на текущую цену, забирает товар

Это тоже открытый аукцион, но обратный, т.к. цена идёт на понижение. Он проходит гораздо быстрее, и тюльпаны в павильоне не успевают завять до отгрузки в магазины. Бывает ещё двойной аукцион — это классический стакан на фондовой бирже, где сделки между продавцами и покупателями формируют рыночную цену в каждый момент времени

Вспомним рекламную базу. First-price и second-price — это закрытые аукционы, когда участники делают ставку «в конверте» — никто не знает ставок друг друга, а товар (рекламный слот) распределяется за один круг

Предположим, теперь мы хотим распределить несколько рекламных слотов, причём их можно отранжировать по ценности — для всех участников попасть на 1-й слот лучше, чем на 2-й и так далее. Это типичная ситуация в поисковой рекламе: чем выше объявление, тем больше на него кликают. Здесь нам тоже хотелось бы добиться правдивости — чтобы участникам было выгодно делать честные ставки и не пытаться геймить систему

Наивный подход: если second-price правдив, то давайте обобщим его на случай N слотов, где i-й победитель платит ставку, оказавшуюся на (i+1)-м месте. Такой аукцион называется generalized second-price (GSP), и он к сожалению не правдив. Интуитивно это можно объяснить так: участнику выгодно понизить ставку и оказаться немного ниже в выдаче, получив, тем не менее, достаточный трафик по своему объявлению

Нормальный подход: существует правило выплат Vickrey–Clarke–Groves (VCG), которое делает аукцион для нескольких слотов правдивым. Грубо говоря, каждый участник платит столько, сколько вреда он нанёс остальным своим участием — это аналогично пороговой ставке в простом second-price, и поэтому делает аукцион правдивым

Итого: аукционов с разными дизайнами бывает много, и они различаются открытостью, правилом выплат и повышением/понижением цены в ходе торгов

———

Так какой же тип аукциона выбрать, чтобы продать свою картину подороже?

Ответ убил: любой, и это следствие из теоремы Майерсона об эквивалентности доходов (revenue equivalence theorem, RET). Вкратце там показывается, что при определённых допущениях ожидаемый доход в любом из форматов аукциона будет одинаков

с содержательными постами перерыв, пока будет развлекательный контент

Про аватарку канала

Если присмотреться, то можно заметить, что это не нормальная картинка, а какая-то хитмапа. Ща расскажу какая

На заре нейросетестроения исследоваетелей интересовал вопрос, как лучше оптимизировать модели. Одной из веток этого направления был анализ траекторий обучения и поведение функции потерь в её окрестности. В частности, было показано, что любые два локальных минимума можно соединить непрерывной кривой, вдоль которой лосс будет примерно равен лоссу в минимумах. С практической стороны это вылилось в метод усреднения весов SWA и концептуально похожий model soup

В 2019-м от исследователей с физтеха вышла забавная статья Loss Patterns of Neural Networks, и там предлагается алгоритм, как найти кусочек лосс-функции, похожий на любой заранее заданный шаблон. Авторы ограничились картинками — т.е. 2D-шаблонами, хотя их метод обобщается на любую размерность, не превышающую число параметров модели

Меня тогда удивило, насколько произвольные формы можно найти в лоссе достаточно простой задачи — в аппендиксе статьи куча разных картинок. Подумал, что одна из них будет хорошо смотреться в канале со статьями, до сих пор нравится 🪐

произошли два леген-wait for it-дарных релиза от нашей службы:

1. gryphon — от слова generative retrieval — unified-архитектура, которая объединяет в себе кандидатогенерацию и ранжирование. Здесь про альтернативный OneRec'у подход к построению рекомендательных end-to-end моделей

2. sona — большой техрепорт о том, как дизайнилась и внедрялась модель, которая заменила собой весь рекомендательный каскад в моей волне на колонках. Внутри много деталей про архитектуру, инфру, аблейшны и а/б тесты

обе работы — это какое-то гигантское количество вложенных усилий, перешедшее в качественный результат. Мои поздравления всей команде и отдельный респект Ане, Вите, Даше и Коле (listed alphabetically), стоявшими за этими работами 🧡
теперь можно и в отпуск!

———
• пост про Sona
• пост про Gryphon
• пост про Gryphon v2