Netflix заспичил зрелый кейс использования LLM не для генерации, а для оценки качества текстов.

Они применяют LLM-as-a-Judge для проверки синопсисов фильмов и сериалов: насколько описание точное, ясное, выдержанное по тону и не содержит фактических ошибок.

Идея пзц простая, но реализация сильная: хороший синопсис влияет не только на тап, но и на то, останется ли юзер смотреть дальше или быстро скипнет

синопсис — это вот этот текст обведённый красным на картинке, если что

интересно

они оценивают синопсис сразу в двух плоскостях:

• редакционная или creative quality: то есть соответствует ли текст внутренним стандартам качества.
• продуктовая: влияет ли этот текст на реальные метрики: выбирают ли тайтл чаще и не бросают ли его почти сразу после старта

а ещё, по сути, они научили LLM смотреть на синопсис глазами высокогорейдового редактора :)) и разбивать их по критериям

clarity — синопсис должен быть понятным с первого чтения
precision — речь не только о фактах, но и о том, насколько аккуратно текст передает суть истории
tone — синопсис должен звучать в правильной интонации: соответствовать жанру, типу проекта и редакционному голосу платформы.
factuality — они выделяют несколько отдельных типов фактических ошибок: неверные детали сюжета, ошибки в метаданных, ошибки в указании актеров или других участников проекта, ошибки в наградах и достижениях

то есть, что конкретно они сделали

1. они разбили оценку на отдельные критерии, это важный инженерный принцип: узкие LLM-задачи почти всегда работают надежнее, чем одна большая и расплывчатая

2. для сложных случаев они усилили рассуждение модели, использовали более длинные rationale, потом сжимали их до краткого объяснения, удобного для человека, плюс запускали несколько прогонов и агрегировали ответ

3. проверку фактов вообще разложили на агентов. отдельно сюжет, отдельно метаданные, отдельно актеры, отдельно награды, это уже очень похоже на то, как реально стоит строить production-grade AI-системы))

4. самое главное: они проверили не только совпадение с редакторами, но и связь с продуктовыми метриками, более высокие оценки LLM коррелировали с тем, что пользователи чаще выбирали тайтл и реже бросали его сразу после старта

——

Результат: LLM-судья достиг 85% совпадения с оценками профессиональных креативных редакторов. это, по сути, означает, что модель научили достаточно стабильно воспроизводить экспертное представление о хорошем синопсисе)

——

И всё это для одного блока с текстом, друзья мои))

В 2021 году OpenAI, еще до появления всех ChatGPT, запустила модель DALL-E.

Я тогда зашёл на их сайт и вбил для генерации первое, что пришло в голову, а именно:

High quality photo of miners dancing to the music of Ozzy Osbourne on the central square of the city of Soligorsk

Потом этот же запрос я сделал в 2023 году.. тоже в какой-то модельке от OpenAI

и вот сегодня, когда вышла новая модель от них же, я снова вбил этот промпт (+видео от Грока)

6 лет прошло

Дизайн кассет

Нашли неприятный баг с картинками на старых телевизорах Samsung TV с Tizen 4.

Обнаружили, что на некоторых телевизорах Samsung для части картинок происходит деградация изображения, ломаются цвета.

В начале думали, что код как-то не так работает c форматов WEBP, ведь часть картинок ОК, а другая, именно webp нет.
Но нет, оказалось, что дело не в коде и не в webp...

Потом нашли, что одна и та же картинка, но сохранённая в разных программах, где-то ломается, а где-то нет.

Значит, надо смотреть на отличие внутри самой картинки. И мы его нашли:
Оказалось, что ломает не сам WebP и не сжатие и не библиотеки которомы сжимаем, а встроенный ICC-профиль:

ICC ProfileVersion: 4.3.0
sRGB
Google Inc. 2016

Удалили ICC из проблемного WebP — картинка стала нормальной. Добавили тот же ICC в рабочий WebP — цвета снова сломались.

Откуда ноги то растут?. Кто вообще догадался этот профиль туда вставить.
Выяснилось, что довольно популярный плагин для Figma — WebP Exporter — вставлял этот профиль внутрь файла. И именно он ломал цвета на Tizen 4.

Похожие проблемы с ICC в WebP уже всплывали в браузерных движках в прошлом, например WebKit Bug 216645. И судя по всему, Самсунг на 4м тайзене до сих пор живут на старом движке с багом, который уже никто там исправлять не будет.

Итого.
Если вы сталкивались с такой проблемой, то вот вам подсказка, куда копать. И да, это проблема не только WebP, этот профиль может быть и в JPEG, проверили, подтвердилось.