😵‍💫 Говорите убедительно и вам поверят

Еще один штрих к пониманию работы и поведения LLM - выяснение причин их "галлюцинаций". Интересная работа от OpenAI (и хорошая статья про нее).

Плохая новость:

Точность никогда не достигнет 100%, поскольку независимо от размера модели, возможностей поиска и рассуждений некоторые реальные вопросы изначально не имеют ответа.

или, другими словами:

То, как языковые модели реагируют на запросы - предсказывая по одному слову в предложении на основе вероятностей, естественным образом приводит к ошибкам. Исследователи фактически показывают, что общий уровень ошибок при генерации предложений как минимум вдвое выше, чем уровень ошибок того же ИИ при ответе на простой вопрос типа «да/нет», поскольку ошибки могут накапливаться при многократном прогнозировании.

Да, вероятностная природа моделей неизбежно будет приводить к "выбросам". Правда, как выяснилось, даже материя на квантовом уровне имеет вероятностный характер, но мир, при этом, как-то держится. Поэтому просто важно учитывать, что ИИ может внезапно "учудить". И прорабатывать сценарии на этот случай - что, собственно, проигнорировано в "автопилоте" Тесла, где нет дублирующих систем в виде радара и лидара.

Еще одно важное открытие - особенность обучения.

Анализ причин, по которым галлюцинации сохраняются, несмотря на усилия по посттренингу (например, предоставление обширной обратной связи с человеком по ответам ИИ перед их публикацией). Авторы изучили десять основных бенчмарков ИИ, включая используемые Google, OpenAI, а также ведущие рейтинги моделей ИИ. В результате выяснилось, что девять бенчмарков используют бинарную систему оценок, которая присваивает 0 баллов ИИ, выражающему неуверенность. Это создаёт то, что авторы называют штрафованием за честные ответы. Когда система ИИ отвечает "Я не знаю", она получает ту же оценку, что и при даче совершенно неверной информации. Оптимальная стратегия при такой оценке становится очевидной: всегда угадывать.

Все как в старых добрых тестах - ставь хоть какой-нибудь ответ, авось, угадаешь. Никогда не доверял бенчмаркам, и уже сталкивался с тем, что модель настаивает на неверном ответе и сдвинуть ее с этой позиции не так просто. Поэтому статья однозначно полезная, в копилку идей, какие особенности LLM необходимо учитывать для создания надежных систем на их основе.

#knowledge #хозяйке_на_заметку #llm #benchmark

🧍Сделано людьми для людей

Периодически смотрю видео от студии Kurzgezagt, выпускающей анимационные ролики с объяснением совершенно разных вещей, понятий и явлений с "оптимистичным нигилизмом": черные дыры, ГМО, микробиота... И тут на днях ребята опубликовали видео "AI slope is killing our channel", который я не мог не посмотреть.

Уже как-то упоминал про теорию мертвого интернета, которая все меньше остается теорией и все больше описывает нашу текущую действительность. Генеративный ИИ всех видов дает просто колоссальные возможности по "генерации контента", но вот его качество вызывает вопросы. AI Slop - как раз самый бессмысленный тип контента, основное назначение которого "майнить" единственно важный ресурс для медиа - внимание.

Меня в этой истории больше всего интересует то, как дальше будет развиваться медиасфера. Совсем недавно (лет 15 назад 😧) начал происходить активный переход от контента, создаваемого платформами к тому, чтобы пользователи сами становились его создателями (UGI). Начался бум социальных сетей и хостингов, люди стали выкладывать фоточки и записывать ролики, появилась монетизация. Это, в свою очередь, породило волну треша, вспомнить тот же Эльзагейт. И вот, благодаря ИИ, теперь треш можно генерить уже петабайтами, заваливая им то, что делают сами люди - явно наметился кризис, выходом из которого должна стать какая-то новая форма мотивации для пользователей продолжать создавать что-то свое, оригинальное.

Авторы этого ролика просят о поддержке в виде покупки мерча, многие подключают систему платных подписок типа патреона или бусти - мотивируя это слоганом "сделано людьми для людей". В таком случае, количество просмотров само по себе и монетизация от них уже не являются самоцелью - их начинает замещать спонсорство. Остается вопрос, как привлечь внимание к своему контенту, чтобы сформировалась база тех, кто будет тебя спонсировать? Когда-то мне попадался проект, нацеленный на то, чтобы помогать начинающим авторам (даже оборудование дают), который работает за счет донатов (или подписки) - к сожалению, не нашел на него ссылку.

Так или иначе, люди не перестанут изобретать способы как можно рассказать миру о себе и своих идеях. Посмотрим, какие формы это будет приобретать. Интернет эволюционирует и трансформируется, наблюдать за чем безумно интересно.

#futurizm