Почему сквозная видимость в programmatic до сих пор ломается на «простых» объектах
Исследователи любят собирать бенчмарки на задачах, где у модели есть и картинка, и точный эталон. Недавний пример из научной области показал довольно жёсткую вещь: даже на относительно небольшом наборе объектов система неплохо находит общий смысл, но заметно хуже воспроизводит точную структуру. Там сравнивали несколько VLM-моделей, а лучшая не смогла приблизиться к идеалу по точному совпадению ответа, хотя частичное совпадение было ощутимо выше.
Для AdTech это очень узнаваемая история. Мы часто смотрим на «красивую» метрику — viewability, CTR, post-click, атрибуцию по последнему касанию — и делаем вывод, будто картина понятна. Но как только начинаешь разбирать путь показа, supply path, качество инвентаря, частоту, пересечения и privacy-ограничения, выясняется: модель видит общий паттерн, но не восстанавливает полный набор причин.
Что это значит на практике:
- один и тот же CTR может скрывать разное качество площадок;
- атрибуция без нормального measurement легко переоценивает верхние касания;
- в условиях cookie loss и усиления privacy-ограничений рассыпается не только таргетинг, но и сам способ интерпретации результата;
- чем сложнее цепочка поставки, тем важнее не «средняя эффективность», а детализация по supply path.
Хороший вывод из таких бенчмарков не про AI как таковой. Он про дисциплину измерения. Если система уверенно распознаёт общий контекст, но ошибается в точной реконструкции, значит и в медиапланировании нельзя опираться только на агрегаты. Нужны разрезы по источникам, прозрачный path analysis, внятная логика инкрементальности и аккуратная работа с сигналами, которые реально доступны в post-cookie среде.
Для маркетинг-директора это удобная проверка: когда отчёт выглядит слишком гладким, почти всегда стоит спросить не «что сработало?», а «что именно мы вообще смогли измерить?»
Исследователи любят собирать бенчмарки на задачах, где у модели есть и картинка, и точный эталон. Недавний пример из научной области показал довольно жёсткую вещь: даже на относительно небольшом наборе объектов система неплохо находит общий смысл, но заметно хуже воспроизводит точную структуру. Там сравнивали несколько VLM-моделей, а лучшая не смогла приблизиться к идеалу по точному совпадению ответа, хотя частичное совпадение было ощутимо выше.
Для AdTech это очень узнаваемая история. Мы часто смотрим на «красивую» метрику — viewability, CTR, post-click, атрибуцию по последнему касанию — и делаем вывод, будто картина понятна. Но как только начинаешь разбирать путь показа, supply path, качество инвентаря, частоту, пересечения и privacy-ограничения, выясняется: модель видит общий паттерн, но не восстанавливает полный набор причин.
Что это значит на практике:
- один и тот же CTR может скрывать разное качество площадок;
- атрибуция без нормального measurement легко переоценивает верхние касания;
- в условиях cookie loss и усиления privacy-ограничений рассыпается не только таргетинг, но и сам способ интерпретации результата;
- чем сложнее цепочка поставки, тем важнее не «средняя эффективность», а детализация по supply path.
Хороший вывод из таких бенчмарков не про AI как таковой. Он про дисциплину измерения. Если система уверенно распознаёт общий контекст, но ошибается в точной реконструкции, значит и в медиапланировании нельзя опираться только на агрегаты. Нужны разрезы по источникам, прозрачный path analysis, внятная логика инкрементальности и аккуратная работа с сигналами, которые реально доступны в post-cookie среде.
Для маркетинг-директора это удобная проверка: когда отчёт выглядит слишком гладким, почти всегда стоит спросить не «что сработало?», а «что именно мы вообще смогли измерить?»