Когда «меньше фич» действительно лучше: кейс про креативные тесты
На табличном бенчмарке из 3450 задач проверяли простую, но неудобную идею: если подать модели не весь набор признаков, а только «правильное ядро», качество прогноза часто растёт. Особенно это заметно, когда признаков много, а сигнал размазан по шуму. Но здесь есть важная оговорка: найти это ядро на практике очень трудно и дорого.
Для команды, которая гоняет креативы, вывод звучит почти буквальным переводом боли. Не каждый дополнительный параметр улучшает отбор. Иногда шире матрица гипотез, больше форматов, больше метрик — а learning velocity падает: тестов много, а решений мало. В такой ситуации выигрывает не тот, кто измеряет всё подряд, а тот, кто быстрее находит минимальный набор признаков, реально объясняющих результат.
В исследовании проблема упёрлась в три вещи:
- методы поиска «правильного поднабора» оптимизируют структуру, а не предсказание;
- ошибка пропуска важного признака и ошибка лишнего признака стоят модели по-разному;
- даже точный поднабор не всегда лучше полного набора признаков, если задача сформулирована не под prediction.
Практический вывод для creative testing: не усложняйте систему метрик раньше времени. Сначала проверьте, какие переменные действительно двигают CTR, CVR, удержание или post-click качество. И только потом расширяйте матрицу. Иначе можно потратить бюджет на «поиск идеальной схемы», которая красиво выглядит в отчёте, но почти не ускоряет принятие решений.
На табличном бенчмарке из 3450 задач проверяли простую, но неудобную идею: если подать модели не весь набор признаков, а только «правильное ядро», качество прогноза часто растёт. Особенно это заметно, когда признаков много, а сигнал размазан по шуму. Но здесь есть важная оговорка: найти это ядро на практике очень трудно и дорого.
Для команды, которая гоняет креативы, вывод звучит почти буквальным переводом боли. Не каждый дополнительный параметр улучшает отбор. Иногда шире матрица гипотез, больше форматов, больше метрик — а learning velocity падает: тестов много, а решений мало. В такой ситуации выигрывает не тот, кто измеряет всё подряд, а тот, кто быстрее находит минимальный набор признаков, реально объясняющих результат.
В исследовании проблема упёрлась в три вещи:
- методы поиска «правильного поднабора» оптимизируют структуру, а не предсказание;
- ошибка пропуска важного признака и ошибка лишнего признака стоят модели по-разному;
- даже точный поднабор не всегда лучше полного набора признаков, если задача сформулирована не под prediction.
Практический вывод для creative testing: не усложняйте систему метрик раньше времени. Сначала проверьте, какие переменные действительно двигают CTR, CVR, удержание или post-click качество. И только потом расширяйте матрицу. Иначе можно потратить бюджет на «поиск идеальной схемы», которая красиво выглядит в отчёте, но почти не ускоряет принятие решений.