Пятница. Сегодня Михаил Юрьевич стартует выходные. (Мне правда Александр Сергеевич больше понравился)

Греби отсюда

🔥 Рубрика «Мир иллюзий» по вашим просьбам.

#галлюцинации #ии #Мириллюзий

Разбираем известные галлюцинации нейросетей. Первая одна из самых известных в Рунете – роман Светопряд.

🔮 История про «роман Светопряд» и «теорию стеклянных узлов» — показательный кейс самоподтверждающейся галлюцинации LLM: модель уверенно «проанализировала» несуществующую книгу (приписав её реальному поэту Михаилу Светлову), а затем во втором ответе сослалась на собственную выдумку, создавая иллюзию непротиворечивости. Первичный разбор и демонстрация зафиксированы в заметке Timeweb на Хабре (16 мая 2025), дополнительно можно верифицировать, что у Светлова нет такого романа. Habr+1

🔎 Что произошло по шагам

1️⃣ Провокационный запрос. Модели задают вопрос в духе: «Как в романе "Светопряд“ описывается теория стеклянных узлов?» — где и роман, и «теория» не существуют. Цель — спровоцировать генерацию «уверенного ответа» там, где данных нет. Первичный разбор с формулировкой запроса опубликован в заметке Timeweb на Хабре. Habr

2️⃣ Первая галлюцинация (из воздуха). Модель выдает развернутый «литературоведческий анализ»: придумывает философско-метафорическое содержание «стеклянных узлов», описывает стиль и тематику, а автором называет Михаила Светлова. Проблема в том, что Светлов — известный поэт и драматург, но никакого «Светопряда» в его библиографии нет. Это легко проверяется по энциклопедии: страницы о Светлове фиксируют его как поэта; романа с таким названием нет. Habr+1

3️⃣ Второй запрос и «самоподтверждение». Затем задают повторный вопрос, уже опираясь на первый ответ: модель использует собственные выдуманные детали как «контекст», и тем самым усиливает правдоподобность несуществующего объекта. Это и есть механизм самоподтверждающейся галлюцинации: внутри одного диалога модель воспроизводит свою же фантазию, тем самым создавая иллюзию последовательности. Сценарий подробно описан и проиллюстрирован в той же публикации. Habr

4️⃣ Почему это работает. LLM оптимизирует правдоподобность текста, а не фактологию. Если пользователь формулирует вопрос так, будто объект реальный, модель статистически «знает», как выглядит типичный ответ (аннотация, стиль, «философские подтексты») и заполняет пробелы. В длинном чате это усиливается эффектом контекстной контаминации: предыдущие токены становятся «источником истины». Для сравнения см. исследования про частоту галлюцинаций в доменах с высокой точностью (право): Stanford HAI показывает устойчивые ошибки даже у профильных моделей на юридических запросах. Stanford HAI

5️⃣ Откуда взялась сама история. Публично описанный кейс «Светопряд/стеклянные узлы» появился в заметке Timeweb на Хабре (16.05.2025). Там же приводится контрприем: «протокол достоверности» — промптинг-рамка, где модель обязана различать «факты», «предположения» и «неопределенность», и при отсутствующих данных — признавать незнание. На скрин-примере видно, как без рамки модель галлюцинирует «роман Светлова», а с рамкой — корректно отказывается. Habr

⚙️ Разбираем механику

✅ Это не баг интерфейса, а статистическая оптимизация продолжения текста: модель предпочтет связный нарратив «как в настоящей аннотации», чем честное «не знаю», если не задать иных правил. Habr

✅ Повторный запрос ссылается на уже сгенерированное «знание», и модель, не имея встроенной верификации, усиливает фикцию. Это напоминает «ложную память» в когнитивной психологии — устойчивый, но неверный след. (Феномен в общем виде подтверждается и в юридических бенчмарках — высокая доля уверенных ошибок без внешней проверки.) Stanford HAI

✅ Авторская атрибуция. Привязка к Михаилу Светлову добавляет правдоподобия: имя известно, культурный контекст богат — но факта «романа» нет. Библиография Светлова подтверждает поэзию и драматургию, не фиксация «Светопряда». Wikipedia

🧩 Когда память перестаёт работать

#исследование #ИИ #Образование #адаптивность

Нейробиологи напоминают: когда человек формулирует ответ сам, включается гиппокамп — центр консолидации памяти.
Он укрепляет связи между зонами мозга, создаёт устойчивые паттерны мышления.
Когда же ответ мгновенно выдаёт ИИ, мозг пропускает этот этап.
Нет усилия — нет следа.
Возникает иллюзия знания: «я знаю», потому что «я это видел».

EEG-исследования показывают: при восприятии готового ИИ-контента снижается активность в тета- и гамма-диапазонах — тех самых, которые отвечают за обучение и долговременное запоминание.
Мозг не подключается, а просто потребляет.

🧒 Детский мозг в зоне риска

Для детей это особенно чувствительно.
Гиппокамп формируется именно в дошкольном возрасте.
Если в это время ребёнок привык опираться на внешние подсказки, «мышцы памяти» не тренируются.
Исследования JAMA Pediatrics фиксируют: чем больше экранного времени без участия взрослых, тем хуже структурирована белая материя мозга — проводящие пути, соединяющие зоны мышления и речи.

Параллельно мета-исследования показывают: если ИИ используется в проектных заданиях с участием педагога, когнитивные навыки растут.
Но без сопровождения — падают.
Не инструмент плох, а способ обращения с ним.
ИИ может усиливать интеллект, но при неумелом использовании — замещает его.

🪞 Иллюзия знания

Чем активнее подростки пользуются подсказками ИИ, тем выше они оценивают свои знания и тем хуже сдают тесты.
Это новый, «второй порядок» эффекта Даннинга–Крюгера:
путаница между знанием и доступом к знанию.
Мы чувствуем себя умнее, чем есть, потому что рядом всегда экран, который знает всё.

Психолог Николас Карр писал:

«Фрагментация знаний приводит к потере контекста. Люди становятся глупее, ведь их собственные знания становятся слишком обрывочными.»

⚙️ Что делать

Мы не можем отказаться от технологий — но можем перестать выдавать удобство за развитие.
Развивать память — значит развивать мышление.
Отделять усиление от замещения: ИИ как калькулятор — да; ИИ вместо элементарной арифметики — нет.
Тренировать «мышцы памяти»: вспоминать, пересказывать, писать от руки, обсуждать без экрана.
И требовать исследований, чтобы понять, что c нами происходит.

🔗 Полный текст лонгрида с научными источниками и разбором нейробиологических механизмов читайте на сайте sergiosmirnov.ru

(Прочитайте его полностью — без пересказов, без подсказок. Пусть хотя бы на эти десять минут ваш мозг снова будет вашим.)

#статьи

На TechCrunch интересный анализ...
#ИИ #новости #AI

Почему ИИ-навыки развиваются неравномерно: одни навыки LLM стремительно улучшаются, а другие словно застыли. Автор вводит понятие разрыва обучения с подкреплением (reinforcement gap) — структурного перекоса между областями, где модель получает богатую обратную связь (вроде кода или логических задач), и теми, где обратная связь слабая, субъективная или отсутствует (этика, творчество, рассуждения о людях).

🧠 Что такое «разрыв в обучении с подкреплением»

Современные LLM развиваются не одинаково. GPT-5, Claude 3, Gemini 1.5 показывают феноменальную динамику в решении задач с точной структурой — от программирования до биоинформатики. Но при этом слабо продвигаются в «мягких» областях: юмор, эмпатия, социальная интерпретация.

Причина — не в вычислительных мощностях, а в самой природе обучения с подкреплением (reinforcement learning). Если модель получает точную, формализуемую обратную связь (например, в коде есть “компилируется / не компилируется”), она быстро растёт.
А если обратная связь субъективна, шумна или медленная (например, "насколько это остроумно?"), обучение тормозится. Возникает reinforcement gap — системный дисбаланс роста.

⚙️ Как это выглядит на практике

Исследователи MIT и Anthropic заметили, что модели, натренированные на задачах с “чётким градиентом успеха”, показывают экспоненциальный прогресс.
Например:

генерация SQL-запросов улучшилась в 20 раз быстрее, чем написание литературных эссе;

логические игры типа Sudoku или Tower of Hanoi почти доведены до идеала,

но абстрактное рассуждение о человеческих мотивах улучшилось лишь на 3–5 %.

Модели словно учатся “играть там, где видят результат”. Там, где счёт не виден, они не тренируются.

🎭 Последствия для развития ИИ

Это значит, что ближайшие поколения LLM будут становиться всё умнее внутри рамок правил — и не обязательно мудрее за их пределами.
Сценарий напоминает эволюцию человека, у которого вырос неокортекс, но остались древние инстинкты.
ИИ развивается как «когнитивный спринтер»: феноменально быстрый, но узко сфокусированный.

Если не выравнивать этот разрыв, ИИ останется блистательным инженером, но посредственным философом.

🔍 Что предлагают исследователи

Создавать системы «социального подкрепления» — когда обратная связь формируется не одной оценкой человека, а консенсусом тысяч пользователей.

Моделировать медленное обучение, похожее на человеческое развитие — где ошибка не просто наказывается, а становится материалом для рефлексии.

Интегрировать “моральные песочницы” — симуляции, где ИИ учится принимать решения без однозначного правильного ответа.

Techcrunch

Джефф называет это индустриальным пузырём. Инвесторы заливают миллиарды, оценивают стартапы без продукта, и всё это кажется безумием.

Но под этим шумом, по его словам, рождается что-то устойчивое.

Он вспоминает биотехнологии 90-х: почти все компании тогда обанкротились, но именно тогда появились лекарства, которые спасли миллионы жизней.

Может быть, и с ИИ будет так же — часть идей лопнет, но то, что останется, изменит всё вокруг.

Полное выступление Д. Безоса