Смешанные чувства от всех этих моделей, которые появились только за эту неделю.

Ну, про новые картинки от GPT вы уже все видели и читали :) — сижу вечерами, изучаю промптинг с ними.

А вот вчера вышло обновление для Codex. Вот простой пример на экране. Еще год назад я делал подробный промпт и ТЗ, где хотел повторить что-то вроде Блендера на минималках. Но тогда с Клодом я просидел сутки и нужного результата не получил.

Новая модель от OpenAI сделала всё за полчаса. Я просил туда включить свет, камеру, сохранения... только то, что нужно мне для конкретной задачи.

На экране вы видите нашу входную группу в Kion с постерами оригинального контента. Раньше для её создания мы применяли Adobe After Effects.

Теперь же всё это я смог повторить в HTML-файле, сохранить пресет, и... готово.

Скорее всего, в какой-то момент можно будет прикрутить JSON из постеров новинок, чтобы это генерилось хоть каждый день и без участия человека.

И вроде это всё здорово.. а с другой стороны. Раньше чтобы такой скрипт сделать сколько одних только митингов нужно было? А что дальше.. а дальше, продолжаю повторять моей команде дизайнеров — прокачивайтесь, мыслить уже надо иначе, быть не ячейкой оркестра, а дирижёром..

Netflix заспичил зрелый кейс использования LLM не для генерации, а для оценки качества текстов.

Они применяют LLM-as-a-Judge для проверки синопсисов фильмов и сериалов: насколько описание точное, ясное, выдержанное по тону и не содержит фактических ошибок.

Идея пзц простая, но реализация сильная: хороший синопсис влияет не только на тап, но и на то, останется ли юзер смотреть дальше или быстро скипнет

синопсис — это вот этот текст обведённый красным на картинке, если что

интересно

они оценивают синопсис сразу в двух плоскостях:

• редакционная или creative quality: то есть соответствует ли текст внутренним стандартам качества.
• продуктовая: влияет ли этот текст на реальные метрики: выбирают ли тайтл чаще и не бросают ли его почти сразу после старта

а ещё, по сути, они научили LLM смотреть на синопсис глазами высокогорейдового редактора :)) и разбивать их по критериям

clarity — синопсис должен быть понятным с первого чтения
precision — речь не только о фактах, но и о том, насколько аккуратно текст передает суть истории
tone — синопсис должен звучать в правильной интонации: соответствовать жанру, типу проекта и редакционному голосу платформы.
factuality — они выделяют несколько отдельных типов фактических ошибок: неверные детали сюжета, ошибки в метаданных, ошибки в указании актеров или других участников проекта, ошибки в наградах и достижениях

то есть, что конкретно они сделали

1. они разбили оценку на отдельные критерии, это важный инженерный принцип: узкие LLM-задачи почти всегда работают надежнее, чем одна большая и расплывчатая

2. для сложных случаев они усилили рассуждение модели, использовали более длинные rationale, потом сжимали их до краткого объяснения, удобного для человека, плюс запускали несколько прогонов и агрегировали ответ

3. проверку фактов вообще разложили на агентов. отдельно сюжет, отдельно метаданные, отдельно актеры, отдельно награды, это уже очень похоже на то, как реально стоит строить production-grade AI-системы))

4. самое главное: они проверили не только совпадение с редакторами, но и связь с продуктовыми метриками, более высокие оценки LLM коррелировали с тем, что пользователи чаще выбирали тайтл и реже бросали его сразу после старта

——

Результат: LLM-судья достиг 85% совпадения с оценками профессиональных креативных редакторов. это, по сути, означает, что модель научили достаточно стабильно воспроизводить экспертное представление о хорошем синопсисе)

——

И всё это для одного блока с текстом, друзья мои))

В 2021 году OpenAI, еще до появления всех ChatGPT, запустила модель DALL-E.

Я тогда зашёл на их сайт и вбил для генерации первое, что пришло в голову, а именно:

High quality photo of miners dancing to the music of Ozzy Osbourne on the central square of the city of Soligorsk

Потом этот же запрос я сделал в 2023 году.. тоже в какой-то модельке от OpenAI

и вот сегодня, когда вышла новая модель от них же, я снова вбил этот промпт (+видео от Грока)

6 лет прошло

Дизайн кассет