Сегодня выходной

Выходной нам выписали даже на публикацию постов

Выходной нам выписала суббота чудесной погодой

Я же успела сходить на лекцию о портфельной карьере, которая запустила глубокую и тревожную рефлексию

А потом я провела полезный завтрак с участницами курса от Оли Соколовой

На завтраке я нашла новых экспертов себе на сайт

https://margaritanabaze.tb.ru/

и новых друзей 💘

А я пока выходные себе не выписываю 🙂

Галлюцинации ИИ: как это устроено и как их минимизировать?

Друзья, привет, давно у нас не было постов в формате #ликбез. Будет много текста, но тема важная и всех волнует.

2026 год поставил точку в вопросе «может ли ИИ работать автономно». Теперь мы не просто «общаемся с ботом» — мы поручаем ему делать бизнес-задачи. И в этот момент главным врагом доверия стали галлюцинации — когда нейросеть уверенно генерирует откровенную ложь или выдумки.

И самое главное - это не баг, а фича, фундаментальное свойство LLM.

1️⃣ Все галлюцинации можно поделить на несколько типов.

По источнику ошибки:

- фактические (factuality): модель выдаёт ложные, но проверяемые утверждения. Например, неправильную дату события, несуществующее исследование или ошибочную формулу. Сюда же относится выдумка новых сущностей (например, несуществующие статьи, API, исследования, ссылки), ошибка атрибуции (например, факт верный, но перепутан автор или ссылка). Это критично для аналитики, науки и финансов

- контекстуальные (faithfulness): ответ противоречит предоставленным вами исходным данным или инструкциям. Вы загрузили PDF с графиком, а ИИ на его основе делает выводы, которых в документе нет. Это главная боль RAG-систем и анализа документов

- логическая (reasoning): иногда выделяют еще логические ошибки, когда факты и контекст верный, но вывод не следует из предоставленных данных

По характеру:

- интровертные: противоречат сами себе в рамках одного ответа

- экстравертные: добавляют информацию «от себя», не опровергая напрямую исходники (их сложнее поймать)

2️⃣ Почему ИИ галлюцинирует?

Проблема не в «ошибках», а в том, как он устроен:

- он не ищет истину. ИИ предсказывает правдоподобный текст, а не проверяет факты

- он не знает текущего мира. Знания «заморожены» на стадии обучения → про новое он догадывается

- он обучен на шуме. Интернет содержит ошибки, мифы, противоречия → модель это содержит в основе

- Он слишком уверен. LLM часто выдают неправильные ответы с пугающе высокой внутренней уверенностью. Они не умеют сказать «я не знаю» без специального обучения.

ИИ не врёт специально. Он просто очень хорошо придумывает правдоподобные ответы.

3️⃣ Что делать с галлюцинациями?

№1. RAG (Retrieval-Augmented Generation). Золотой стандарт. Прежде чем ответить, система ищет актуальные данные в вашей базе знаний (векторное хранилище, документы, CRM) и принудительно ответ в них. Это не панацея, но снижает риск выдумок на 80%.

№2. Агентские фреймворки с верификацией. Современные AI-агенты (в духе Manus) по умолчанию строят цепочки: «Подумать -> Найти информацию -> Свериться -> Действовать». Заставляют модель проверять свои шаги и подтверждать информацию.

№3. Промпт-инжиниринг нового уровня. Устарели просьбы «будь точным». Теперь это системные инструкции: «Если информация не найдена в предоставленном контексте, явно укажи на это. Рассуждай шаг за шагом, прежде чем дать окончательный ответ». Это включает Chain-of-Thought.

№4. Пост-обработка и гардрейлы. Отдельный мелкий LLM или классификатор проверяет финальный ответ на противоречия, наличие цитат и тональную уверенность. Фильтр ответа перед пользователем.

№5. Человек в контуре (Human-in-the-Loop). Для высокорисковых сценариев (медицина, юриспруденция) финальное решение всегда за экспертом. ИИ — мощный ассистент, но не судья.

PS: за пост спасибо Вадиму Ханину, который пишет дипломную работу по анализу галлюцинаций больших моделей в НИУ ВШЭ (а я у него научный руководитель)

#ликбез

💬 ген ии | MAX

Это такое большое, потрясающее и невероятное !

Полный айрон мен в 73 года
Мой кумир и мое глубочайшее почтение
🤍

Во что я верила раньше и сейчас?

День 4

Очень сложно
Только людям рядом с нами видно, что мы меняемся, а нам самим изнутри нет

Но, кажется я раньше верила в любовь просто так, а теперь тоже верю))), но еще верю в то, что нужно вовремя встретиться,
Когда внутренняя емкость достаточна для глубины и того, чтобы видеть и слышать второго

Еще раньше я верила в друзей, и в то, что можно дружить всю жизнь, а теперь тоже верю, но знаю, что для этого все участники мероприятия должны либо оставаться в статике, либо хотеть развиваться
Рассинхрон дружбу растворяет

Еще я раньше верила, что я самая умная и что только слабаки ходят к помогающим специалистам, а теперь я верю, что до уровня «я не самый умный, мне нужна помощь» нужно еще дорасти и это тоже путь
И теперь я верю, что в твоей жизни есть три обязательные траты
- психолог
- массажист
- стоматолог

Если вы выбираете между чем-то еще и этим, то я уже за вас решила 💗

А еще я раньше верила, что сами придут и оценят, а я буду гордо сидеть в углу))

нет, так не работает! Поэтому, теперь, я пишу этот пост и другие, и буду писать и рассказывать о себе

Вот такая трансформация за 10 лет примерно

А у вас как? Накидайте в комментарии 👇🏻❤️‍🔥

Новый поток Нейроспринтов стартует 17 мая 🫶🏻

Друзья! Следующая группа начнет работу
🧘‍♀️ с 17 мая в 18.00
Условия входа
🧘‍♀️ 3 333 руб с человека за 4 недели ( 3 спринта + рефлексия)
🧘‍♀️ он-лайн

Пишите на предзапись🐈