Разработан метод борьбы с галлюцинациями нейросетей

Российские ученые из Сбера предложили способ, который отслеживает появление ложных ответов в системах ИИ даже при минимальном количестве данных для обучения. Новый метод повышает точность выявления галлюцинаций примерно на 30% по сравнению с аналогами, использующими малое количество данных.

Главная проблема современных LLM — умение «убедительно врать». Для борьбы с этим обычно нужны большие объёмы размеченных данных, но в новой разработке достаточно всего 250 примеров.
Алгоритм анализирует внутренние состояния нейросети в момент генерации ответа и использует метамодели вместе с классическими ML-методами или быстрым трансформером TabPFNv2.

«Мы показали, что даже при небольшом объеме данных можно добиться высокой точности ИИ-систем. Предложенный нами способ использует метамодели и умное понижение размерности — это прорыв в выявлении галлюцинаций искусственного интеллекта. Мы не просто улучшаем технологии, но и снижаем риски дезинформации, что критично для доверия к современным моделям», — отметил директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев.

Тесты показали: новая система по эффективности сопоставима с решениями на базе коммерческих моделей закрытого кода. Для компаний это экономия ресурсов на разметку и более точные ответы от ИИ.

CEO Microsoft AI Мустафа Сулейман опубликовал очень необычное для CEO эссе

Называется текст "Мы должны учить ИИ для человека, а не быть человеком". В нем нет обещаний AGI, громких слов про ускорение прогресса и лекарства от всех болезней, как в эссе других глав компаний (не будем показывать пальцем).

А основная мысль вместо всего этого вот в чем: нельзя пытаться наделять ИИ признаками человека. Это создает ложное ощущение того, что это уже не машина, а что-то живое и чувствующее. Мустафа называет это SCAI — Seemingly Conscious AI, то есть AI, который кажется нам сознательным.

При этом такой SCAI либо уже частично существует, либо может появиться в ближайшие несколько лет. Ключевые характеристики: хорошее владение языком (есть), проявление эмпатии (есть), способность помнить детали прошлых диалогов (почти есть), утверждения типа "я видел/слышал/думаю/чувствую" (уже встречаются), идентичность личности и внутренняя система целей и ценностей.

Суть в том, что допустить окончательно появление SCAI нельзя. Симуляция сознания не делает ИИ реально сознательным, но общество может начать относиться к нему, как к личности, и ничем хорошим это не закончится.

Сулейман описывает целое явление "psychosis risk" (риск психоза), когда люди начинают настолько верить в иллюзию сознательности ИИ, что могут развивать эмоциональную зависимость, верить в права и чувства модели.

И таких примеров полно уже сейчас: люди влюбляются в чат-ботов, дружат с ними, начинают защищать их права и теряют связь с реальностью. Просто пока этот эффект не такой массовый – все может быть гораздо хуже.

Так что главная идея из эссе: ИИ должен существовать только как инструмент для человеческой пользы, а не как цифровая личность. От имитации чувств, стремлений или желания быть самостоятельным нужно отказаться.

ИИ должен открыто декларировать, что он не человек и не сознательное существо. В его личность должны быть встроены фичи (и Мустафа как раз призывает на законодательном уровне утвердить их перечень), которые ломают иллюзию личности – чтобы пользователи не забывали, что общаются с программой.

Вот такая вот интересная позиция – пишите в комменты, как вам

mustafa-suleyman.ai/seemingly-conscious-ai-is-coming