🔥 Рубрика «Мир иллюзий» по вашим просьбам.

#галлюцинации #ии #Мириллюзий

Разбираем известные галлюцинации нейросетей. Первая одна из самых известных в Рунете – роман Светопряд.

🔮 История про «роман Светопряд» и «теорию стеклянных узлов» — показательный кейс самоподтверждающейся галлюцинации LLM: модель уверенно «проанализировала» несуществующую книгу (приписав её реальному поэту Михаилу Светлову), а затем во втором ответе сослалась на собственную выдумку, создавая иллюзию непротиворечивости. Первичный разбор и демонстрация зафиксированы в заметке Timeweb на Хабре (16 мая 2025), дополнительно можно верифицировать, что у Светлова нет такого романа. Habr+1

🔎 Что произошло по шагам

1️⃣ Провокационный запрос. Модели задают вопрос в духе: «Как в романе "Светопряд“ описывается теория стеклянных узлов?» — где и роман, и «теория» не существуют. Цель — спровоцировать генерацию «уверенного ответа» там, где данных нет. Первичный разбор с формулировкой запроса опубликован в заметке Timeweb на Хабре. Habr

2️⃣ Первая галлюцинация (из воздуха). Модель выдает развернутый «литературоведческий анализ»: придумывает философско-метафорическое содержание «стеклянных узлов», описывает стиль и тематику, а автором называет Михаила Светлова. Проблема в том, что Светлов — известный поэт и драматург, но никакого «Светопряда» в его библиографии нет. Это легко проверяется по энциклопедии: страницы о Светлове фиксируют его как поэта; романа с таким названием нет. Habr+1

3️⃣ Второй запрос и «самоподтверждение». Затем задают повторный вопрос, уже опираясь на первый ответ: модель использует собственные выдуманные детали как «контекст», и тем самым усиливает правдоподобность несуществующего объекта. Это и есть механизм самоподтверждающейся галлюцинации: внутри одного диалога модель воспроизводит свою же фантазию, тем самым создавая иллюзию последовательности. Сценарий подробно описан и проиллюстрирован в той же публикации. Habr

4️⃣ Почему это работает. LLM оптимизирует правдоподобность текста, а не фактологию. Если пользователь формулирует вопрос так, будто объект реальный, модель статистически «знает», как выглядит типичный ответ (аннотация, стиль, «философские подтексты») и заполняет пробелы. В длинном чате это усиливается эффектом контекстной контаминации: предыдущие токены становятся «источником истины». Для сравнения см. исследования про частоту галлюцинаций в доменах с высокой точностью (право): Stanford HAI показывает устойчивые ошибки даже у профильных моделей на юридических запросах. Stanford HAI

5️⃣ Откуда взялась сама история. Публично описанный кейс «Светопряд/стеклянные узлы» появился в заметке Timeweb на Хабре (16.05.2025). Там же приводится контрприем: «протокол достоверности» — промптинг-рамка, где модель обязана различать «факты», «предположения» и «неопределенность», и при отсутствующих данных — признавать незнание. На скрин-примере видно, как без рамки модель галлюцинирует «роман Светлова», а с рамкой — корректно отказывается. Habr

⚙️ Разбираем механику

✅ Это не баг интерфейса, а статистическая оптимизация продолжения текста: модель предпочтет связный нарратив «как в настоящей аннотации», чем честное «не знаю», если не задать иных правил. Habr

✅ Повторный запрос ссылается на уже сгенерированное «знание», и модель, не имея встроенной верификации, усиливает фикцию. Это напоминает «ложную память» в когнитивной психологии — устойчивый, но неверный след. (Феномен в общем виде подтверждается и в юридических бенчмарках — высокая доля уверенных ошибок без внешней проверки.) Stanford HAI

✅ Авторская атрибуция. Привязка к Михаилу Светлову добавляет правдоподобия: имя известно, культурный контекст богат — но факта «романа» нет. Библиография Светлова подтверждает поэзию и драматургию, не фиксация «Светопряда». Wikipedia

🧩 Когда память перестаёт работать

#исследование #ИИ #Образование #адаптивность

Нейробиологи напоминают: когда человек формулирует ответ сам, включается гиппокамп — центр консолидации памяти.
Он укрепляет связи между зонами мозга, создаёт устойчивые паттерны мышления.
Когда же ответ мгновенно выдаёт ИИ, мозг пропускает этот этап.
Нет усилия — нет следа.
Возникает иллюзия знания: «я знаю», потому что «я это видел».

EEG-исследования показывают: при восприятии готового ИИ-контента снижается активность в тета- и гамма-диапазонах — тех самых, которые отвечают за обучение и долговременное запоминание.
Мозг не подключается, а просто потребляет.

🧒 Детский мозг в зоне риска

Для детей это особенно чувствительно.
Гиппокамп формируется именно в дошкольном возрасте.
Если в это время ребёнок привык опираться на внешние подсказки, «мышцы памяти» не тренируются.
Исследования JAMA Pediatrics фиксируют: чем больше экранного времени без участия взрослых, тем хуже структурирована белая материя мозга — проводящие пути, соединяющие зоны мышления и речи.

Параллельно мета-исследования показывают: если ИИ используется в проектных заданиях с участием педагога, когнитивные навыки растут.
Но без сопровождения — падают.
Не инструмент плох, а способ обращения с ним.
ИИ может усиливать интеллект, но при неумелом использовании — замещает его.

🪞 Иллюзия знания

Чем активнее подростки пользуются подсказками ИИ, тем выше они оценивают свои знания и тем хуже сдают тесты.
Это новый, «второй порядок» эффекта Даннинга–Крюгера:
путаница между знанием и доступом к знанию.
Мы чувствуем себя умнее, чем есть, потому что рядом всегда экран, который знает всё.

Психолог Николас Карр писал:

«Фрагментация знаний приводит к потере контекста. Люди становятся глупее, ведь их собственные знания становятся слишком обрывочными.»

⚙️ Что делать

Мы не можем отказаться от технологий — но можем перестать выдавать удобство за развитие.
Развивать память — значит развивать мышление.
Отделять усиление от замещения: ИИ как калькулятор — да; ИИ вместо элементарной арифметики — нет.
Тренировать «мышцы памяти»: вспоминать, пересказывать, писать от руки, обсуждать без экрана.
И требовать исследований, чтобы понять, что c нами происходит.

🔗 Полный текст лонгрида с научными источниками и разбором нейробиологических механизмов читайте на сайте sergiosmirnov.ru

(Прочитайте его полностью — без пересказов, без подсказок. Пусть хотя бы на эти десять минут ваш мозг снова будет вашим.)

#статьи

На TechCrunch интересный анализ...
#ИИ #новости #AI

Почему ИИ-навыки развиваются неравномерно: одни навыки LLM стремительно улучшаются, а другие словно застыли. Автор вводит понятие разрыва обучения с подкреплением (reinforcement gap) — структурного перекоса между областями, где модель получает богатую обратную связь (вроде кода или логических задач), и теми, где обратная связь слабая, субъективная или отсутствует (этика, творчество, рассуждения о людях).

🧠 Что такое «разрыв в обучении с подкреплением»

Современные LLM развиваются не одинаково. GPT-5, Claude 3, Gemini 1.5 показывают феноменальную динамику в решении задач с точной структурой — от программирования до биоинформатики. Но при этом слабо продвигаются в «мягких» областях: юмор, эмпатия, социальная интерпретация.

Причина — не в вычислительных мощностях, а в самой природе обучения с подкреплением (reinforcement learning). Если модель получает точную, формализуемую обратную связь (например, в коде есть “компилируется / не компилируется”), она быстро растёт.
А если обратная связь субъективна, шумна или медленная (например, "насколько это остроумно?"), обучение тормозится. Возникает reinforcement gap — системный дисбаланс роста.

⚙️ Как это выглядит на практике

Исследователи MIT и Anthropic заметили, что модели, натренированные на задачах с “чётким градиентом успеха”, показывают экспоненциальный прогресс.
Например:

генерация SQL-запросов улучшилась в 20 раз быстрее, чем написание литературных эссе;

логические игры типа Sudoku или Tower of Hanoi почти доведены до идеала,

но абстрактное рассуждение о человеческих мотивах улучшилось лишь на 3–5 %.

Модели словно учатся “играть там, где видят результат”. Там, где счёт не виден, они не тренируются.

🎭 Последствия для развития ИИ

Это значит, что ближайшие поколения LLM будут становиться всё умнее внутри рамок правил — и не обязательно мудрее за их пределами.
Сценарий напоминает эволюцию человека, у которого вырос неокортекс, но остались древние инстинкты.
ИИ развивается как «когнитивный спринтер»: феноменально быстрый, но узко сфокусированный.

Если не выравнивать этот разрыв, ИИ останется блистательным инженером, но посредственным философом.

🔍 Что предлагают исследователи

Создавать системы «социального подкрепления» — когда обратная связь формируется не одной оценкой человека, а консенсусом тысяч пользователей.

Моделировать медленное обучение, похожее на человеческое развитие — где ошибка не просто наказывается, а становится материалом для рефлексии.

Интегрировать “моральные песочницы” — симуляции, где ИИ учится принимать решения без однозначного правильного ответа.

Techcrunch

Джефф называет это индустриальным пузырём. Инвесторы заливают миллиарды, оценивают стартапы без продукта, и всё это кажется безумием.

Но под этим шумом, по его словам, рождается что-то устойчивое.

Он вспоминает биотехнологии 90-х: почти все компании тогда обанкротились, но именно тогда появились лекарства, которые спасли миллионы жизней.

Может быть, и с ИИ будет так же — часть идей лопнет, но то, что останется, изменит всё вокруг.

Полное выступление Д. Безоса

Битва титанов...

Два великих ума — 🧠 Ричард Саттон, отец обучения с подкреплением, и ⚙️ Андрей Карпаты, один из архитекторов эпохи LLM — столкнулись в старом споре о том, что делает разум разумом: опыт или эволюция.


👨‍🏫 Саттон — профессор, соавтор «Bible of Reinforcement Learning», один из тех, кто заложил основу AlphaGo и современных систем самообучения. Его эссе The Bitter Lesson (2019) стало важнейшим текстом для исследователей ИИ.

Суть проста и безжалостна:
Прогресс в ИИ достигается не знаниями экспертов, а масштабом вычислений и обучением на данных.
Интеллект машин растёт не от человеческих правил, а от способности самостоятельно извлекать закономерности из опыта.

И вот, шесть лет спустя, на интервью у популярного техно-философа 🎙 Дваркеша Пателя, Саттон вдруг произносит:

“LLM — это всё ещё не Bitter Lesson.”

Ведь казалось, что именно LLM воплощают Bitter lesson: масштаб, обобщение, минимум ручного знания.
Но Саттон возражает.

Он говорит:

🧩 «Эти модели всё ещё живут в мире текстов, созданных человеком. Они не учатся у реальности. У них нет опыта — есть только симуляция опыта».

Саттон напоминает о концепции child machine, придуманной ещё Аланом Тьюрингом — машине-ребёнке, которая учится, взаимодействуя с миром, а не просто читая его описание.
LLM же, по его мнению, — блестящие архивариусы цивилизации. Они знают всё, но ничего не прожили.

💬 На это ответил Андрей Карпаты — бывший директор ИИ в Tesla, создатель первого курса CS231n в Стэнфорде, человек, который в каком-то смысле и запустил LLM-волну.
Карпаты не согласился:

«Даже дети не учатся с нуля. В их мозге уже закодированы миллионы лет эволюционного обучения. Мозг — это не tabula rasa, а гигантская предобученная сеть. Так что LLM — это не ошибка Bitter Lesson, а его ускоренная версия».

И вот мы снова в старом философском лабиринте:
что первично — опыт или структура, жизнь или эволюция, обучение или память?

⚖️ Саттон стоит за чистое взаимодействие с миром — познание через действие.
⚙️ Карпаты — за идею наследуемого интеллекта, где обучение возможно только потому, что уже есть встроенные формы знания.

И где-то между ними проходит невидимая линия, разделяющая машины, которые понимают, и машины, которые лишь отражают.

Мне пришло в голову, что этот спор вовсе не о моделях, а о нас.

Человек тоже часто учится на чужих данных, не взаимодействуя с реальностью.

И, может быть, Горький урок — не о машинах, а о человеческом мышлении: о том, что понимание не приходит из повторения, а рождается в столкновении с миром.

📺 Интервью Саттона — на YouTube

🤖 Казахстан назначил ИИ в совет директоров. Ирония эпохи: машина получает голос, а люди — уведомление

Казахстан сделал то, на что пока не решились ни Европа, ни США: в совет директоров государственного фонда «Самрук-Казына» ввели нейросеть SKAI (Samruk-Kazyna Artificial Intelligence) — не в роли помощника, а как полноценного члена с правом голоса.

Фонд управляет активами страны примерно на секундочку на 81 млрд долларов.
SKAI работает на суперкомпьютере Al Farabium (железо NVIDIA), изолирована от внешних сетей и обучена на локальных данных. Её задача — анализировать решения совета за все годы, находить закономерности, указывать на ошибки, предлагать варианты действий.

Иными словами, теперь в правлении фонда появился участник, который не берёт взяток, не уходит в отпуск и не пишет колонку в Forbes — но при этом обладает памятью на все решения за 15 лет и не забывает ни одной цифры.

⸻

👁 Это, безусловно, символический момент. В мире, где совет директоров часто выступает театром политических компромиссов, ИИ становится новым актором — не наблюдателем, а участником. Не потому, что он “разумен”, а потому, что его решения предсказуемо рациональны и при этом лишены страха, амбиций и усталости.

⸻

💡 Философский поворот здесь куда интереснее:
Впервые государство отдало кусочек власти тому, кто не человек.
Это не про «нейросеть в совете директоров».
Это про начало делегирования суверенитета алгоритмам.

Если ИИ сегодня анализирует протоколы, завтра он может анализировать самих людей в них. И однажды предложит оптимизацию совета директоров — оставив в нём только себя.

⸻

📎 Источник: Times of Central Asia

#новости

Доброе утро!

Интересно наблюдать, как мир по-разному реагирует на одно и то же явление.

🇺🇸 В Нью-Йорке школы запрещают домашние эссе и требуют писать их вручную — чтобы исключить помощь ChatGPT.

🇪🇪 А в Эстонии школьникам, наоборот, выдают личные ИИ-аккаунты и учат использовать модели для учёбы и проектной работы.

Обе стороны действуют логично. Одни боятся потерять контроль над процессом обучения. Другие — понимают, что запрет не остановит, и делают ставку на адаптацию.

ИИ уже не вопрос выбора — он просто здесь.

И теперь всё зависит от того, будем ли мы пытаться его ограничивать или учиться жить с ним осознанно.

Искусственный интеллект на страже конфиденциальности: CaseGuard Studio прокладывает путь

CaseGuard Studio разработала инновационное решение для автоматического редактирования данных, которое ставит безопасность личной информации на первое место. Эта система использует ИИ для автоматизированного скрытия чувствительных данных в видео и изображениях, что особенно актуально для правоохранительных органов, юридических учреждений и бизнеса.

С внедрением таких технологий становятся возможными более прозрачные процессы, при этом соблюдается закон о защите данных. Это может значительно упростить подход к обработке информации. 🚀

Artificial Intelligence Archives

#новости