Заместители

Почему LLM галлюцинируют и можно ли их от этого отучить?

Языковые модели — основа современных ИИ-агентов. А значит, каждая их галлюцинация — это потенциальная ошибка, которая стоит денег, времени или даже здоровья пользователей. Но что значит «галлюцинации LLM»? Почему они это делают? И почему разработчики всё никак не могут их победить?

⸻

👦

Вернемся к основам

Чтобы понять, откуда берутся галлюцинации, нужно вспомнить, как вообще работают современные нейросетки.

1. LLM обучают предсказывать наиболее вероятный токен (кусочек текста) на основе его окружения (контекста). В процессе обучения в исходном тексте закрывается часть токенов. Получается, например:

Ку** идем ** с П******м - бо**шой-бол**ой секр**!

Ваш мозг уже легко достроил эту фразу — собственно, того же хотим и от LLM. Таким образом, она запоминает паттерны из обучающих текстов.

2. Далее сравниваем предсказанные моделью пропущенные токены с правильным ответом и получаем процент ошибок, которые совершила модель.

3. Мы подошли к самой мякотке. Путём математических хитростей (не будем грузиться ими) строится «функция потерь». Это уравнение, которое говорит модели, насколько та ошиблась, и как сильно «подкрутить» свои параметры.

В итоге всё поведение модели зависит от того, какие параметры она подобрала, чтобы минимизировать ошибки.

Значит, ответы модели будут очень сильно зависеть от:
- данных, на которых она обучалась. Если в процессе обучения модель никогда не встречала фразу «Куда идём мы с Пятачком…», то она практически наверняка не сможет правильно дополнить её. И выдаст, например, «Куда идём мы с Пряником…». Потому что из контекста на свиной пятачок ничего не намекает, а пряник — слово статистически более вероятное.
- размера модели. Даже если в данных один раз попалась фраза из нашей любимой сказки, но модель маленькая (например, пару миллионов параметров), — то ей не хватит параметров, чтобы «запомнить» все тонкости обучающей выборки. А значит, она «выберет запомнить» только самые распространённые паттерны в текстах, чтобы минимизировать свои ошибки в процессе обучения.
- мощности железа при обучении. Учёные заметили, что если в процессе обучения модели прогонять параллельно больше примеров (для знатоков — речь о размере «батча данных»), то модель лучше обучается.
- функции потерь и всяких математических ухищрений при обучении. Это поляна, на которой трудятся учёные. Загружаться туда не будем. Важно лишь знать, что эффект от этого всё ещё несравнимо слабее, чем от первых трёх пунктов.

⸻

🫣

Ну ладно, а галлюцинации откуда?

Всё просто — галлюцинации — это статистические ошибки, вытекающие из того, на чём обучалась модель и насколько она большая. Как с нашим Пятачком.

Модель не знает математику, физику или медицину. Она не знает Винни-Пуха. Она лишь знает, что с чем чаще встречается. Большие и умные модели запоминают сложные закономерности, и нам кажется, что у них появляется «интеллект».

Но в параметрах модели обязательно встречается «тёмный угол», где творится какая-то дичь. Модель не может знать или запомнить абсолютно всё, особенно когда речь идёт про ваши специфические аспекты бизнеса или жизни. И она пытается применить свои обобщённые статистические паттерны на ваших специфических данных. В итоге получаем: «Куда идём мы с Пряником — большой-большой секрет»

👨‍🔬

Почему ученые не могут победить галлюцинации?

В существующих моделях ИИ, как вы уже поняли, — это просто невозможно. Как говорят разработчики, «не заложено архитектурно». Поэтому всё, что можно сделать, — это минимизировать ошибки, но не избавиться от них.

Для минимизации ошибок много техник. Среди них — RAG, fine-tuning, chain-of-thought и др. Но это уже тема другого поста...

💡

Два главных инсайта

1. Помните, что все LLM — это Т9 на максималках. Они будут ошибаться, и теперь вы знаете, почему.

2. Можно ли тогда использовать LLM? — Да, конечно. Ведь люди тоже ошибаются. Вопрос лишь в том, кто делает это чаще и дороже. И мы подходим к моменту, когда люди проигрывают моделям.

⸻

Подписывайся, у меня полезное про ИИ агентов без инфошума.

Заместители

Please open Telegram to view this post