Мы тестируем не креатив, а собственное нетерпение
Заметил странную вещь: чем мощнее у команды система тестов, тем быстрее она убивает ролики. Дашборд обновился — CTR на полпроцента ниже соседа — выключаем. И вроде всё по данным.
Только данных там ещё нет. Сотня показов и три клика — это не сигнал, это шум, который мы торопимся прочитать как приговор.
Хорошая система тестирования нужна не для того, чтобы быстрее отсекать. А чтобы дать креативу дожить до момента, когда цифрам можно верить.
Мы измеряем ролики. А режем их по своей тревожности.
— @CreativeTestingRu
Заметил странную вещь: чем мощнее у команды система тестов, тем быстрее она убивает ролики. Дашборд обновился — CTR на полпроцента ниже соседа — выключаем. И вроде всё по данным.
Только данных там ещё нет. Сотня показов и три клика — это не сигнал, это шум, который мы торопимся прочитать как приговор.
Хорошая система тестирования нужна не для того, чтобы быстрее отсекать. А чтобы дать креативу дожить до момента, когда цифрам можно верить.
Мы измеряем ролики. А режем их по своей тревожности.
— @CreativeTestingRu
Когда «креатив-победитель» врёт
Заметил странную вещь: чем красивее график в дашборде, тем меньше я ему верю. Выкатываешь восемь вариантов, один вылетает вперёд по CTR — и команда уже хочет масштабировать. А через три дня он сдувается.
Дело не в усталости аудитории. Дело в том, что мы празднуем победу на выборке, где разница в два клика выглядит как закономерность. Тестирование — это не поиск чемпиона. Это дисциплина не обмануться раньше времени.
Я всё чаще ловлю себя на мысли, что **главный навык тут — не запускать тесты, а не доверять первым цифрам**. Самый дорогой креатив — тот, который выиграл случайно, а мы поверили.
— @CreativeTestingRu
Заметил странную вещь: чем красивее график в дашборде, тем меньше я ему верю. Выкатываешь восемь вариантов, один вылетает вперёд по CTR — и команда уже хочет масштабировать. А через три дня он сдувается.
Дело не в усталости аудитории. Дело в том, что мы празднуем победу на выборке, где разница в два клика выглядит как закономерность. Тестирование — это не поиск чемпиона. Это дисциплина не обмануться раньше времени.
Я всё чаще ловлю себя на мысли, что **главный навык тут — не запускать тесты, а не доверять первым цифрам**. Самый дорогой креатив — тот, который выиграл случайно, а мы поверили.
— @CreativeTestingRu