Я завела новый канал, через который буду развивать свой
проект "Маргарита на Базе"

С завтрашнего дня я буду публиковать там свои продукты,
и продукты своих опытных коллег

подписывайтесь ❤️🐈
@margarita_on_the_base

Сегодня выходной

Выходной нам выписали даже на публикацию постов

Выходной нам выписала суббота чудесной погодой

Я же успела сходить на лекцию о портфельной карьере, которая запустила глубокую и тревожную рефлексию

А потом я провела полезный завтрак с участницами курса от Оли Соколовой

На завтраке я нашла новых экспертов себе на сайт

https://margaritanabaze.tb.ru/

и новых друзей 💘

А я пока выходные себе не выписываю 🙂

Галлюцинации ИИ: как это устроено и как их минимизировать?

Друзья, привет, давно у нас не было постов в формате #ликбез. Будет много текста, но тема важная и всех волнует.

2026 год поставил точку в вопросе «может ли ИИ работать автономно». Теперь мы не просто «общаемся с ботом» — мы поручаем ему делать бизнес-задачи. И в этот момент главным врагом доверия стали галлюцинации — когда нейросеть уверенно генерирует откровенную ложь или выдумки.

И самое главное - это не баг, а фича, фундаментальное свойство LLM.

1️⃣ Все галлюцинации можно поделить на несколько типов.

По источнику ошибки:

- фактические (factuality): модель выдаёт ложные, но проверяемые утверждения. Например, неправильную дату события, несуществующее исследование или ошибочную формулу. Сюда же относится выдумка новых сущностей (например, несуществующие статьи, API, исследования, ссылки), ошибка атрибуции (например, факт верный, но перепутан автор или ссылка). Это критично для аналитики, науки и финансов

- контекстуальные (faithfulness): ответ противоречит предоставленным вами исходным данным или инструкциям. Вы загрузили PDF с графиком, а ИИ на его основе делает выводы, которых в документе нет. Это главная боль RAG-систем и анализа документов

- логическая (reasoning): иногда выделяют еще логические ошибки, когда факты и контекст верный, но вывод не следует из предоставленных данных

По характеру:

- интровертные: противоречат сами себе в рамках одного ответа

- экстравертные: добавляют информацию «от себя», не опровергая напрямую исходники (их сложнее поймать)

2️⃣ Почему ИИ галлюцинирует?

Проблема не в «ошибках», а в том, как он устроен:

- он не ищет истину. ИИ предсказывает правдоподобный текст, а не проверяет факты

- он не знает текущего мира. Знания «заморожены» на стадии обучения → про новое он догадывается

- он обучен на шуме. Интернет содержит ошибки, мифы, противоречия → модель это содержит в основе

- Он слишком уверен. LLM часто выдают неправильные ответы с пугающе высокой внутренней уверенностью. Они не умеют сказать «я не знаю» без специального обучения.

ИИ не врёт специально. Он просто очень хорошо придумывает правдоподобные ответы.

3️⃣ Что делать с галлюцинациями?

№1. RAG (Retrieval-Augmented Generation). Золотой стандарт. Прежде чем ответить, система ищет актуальные данные в вашей базе знаний (векторное хранилище, документы, CRM) и принудительно ответ в них. Это не панацея, но снижает риск выдумок на 80%.

№2. Агентские фреймворки с верификацией. Современные AI-агенты (в духе Manus) по умолчанию строят цепочки: «Подумать -> Найти информацию -> Свериться -> Действовать». Заставляют модель проверять свои шаги и подтверждать информацию.

№3. Промпт-инжиниринг нового уровня. Устарели просьбы «будь точным». Теперь это системные инструкции: «Если информация не найдена в предоставленном контексте, явно укажи на это. Рассуждай шаг за шагом, прежде чем дать окончательный ответ». Это включает Chain-of-Thought.

№4. Пост-обработка и гардрейлы. Отдельный мелкий LLM или классификатор проверяет финальный ответ на противоречия, наличие цитат и тональную уверенность. Фильтр ответа перед пользователем.

№5. Человек в контуре (Human-in-the-Loop). Для высокорисковых сценариев (медицина, юриспруденция) финальное решение всегда за экспертом. ИИ — мощный ассистент, но не судья.

PS: за пост спасибо Вадиму Ханину, который пишет дипломную работу по анализу галлюцинаций больших моделей в НИУ ВШЭ (а я у него научный руководитель)

#ликбез

💬 ген ии | MAX

Это такое большое, потрясающее и невероятное !

Полный айрон мен в 73 года
Мой кумир и мое глубочайшее почтение
🤍