К 2030 году искусственный интеллект окажется на пересечении науки, экономики и политики с масштабом, который сегодня трудно вообразить.

Согласно свежему исследованию (подготовленному для Google DeepMind), тренд наращивания мощности ИИ не замедляется. Обучение передовых моделей будет требовать сотен миллиардов долларов и гигаватты электроэнергии. Но взамен ИИ способен открыть новые горизонты — от автоматизации сложного программного кода до помощи математикам в формализации доказательств и биологам в расшифровке молекулярных процессов.

🔥 Ключевой инсайт: масштабирование ИИ — это не только вопрос железа и энергии. Это про будущее науки. Уже к концу десятилетия появятся ИИ-помощники, которые станут для исследователей тем же, чем сегодня стали GitHub Copilot или ChatGPT для программистов. Разница лишь в том, что речь идёт не о строчках кода, а о фундаментальных открытиях.

⚡️ В то же время социальное внедрение отстанет от технических возможностей: лекарства или новые материалы потребуют долгих циклов тестирования, а вот программная инженерия и моделирование будут меняться стремительно.

👉 Полный разбор сценариев будущего ИИ, включая прогнозы по математике, биологии и климату, читайте в лонгриде на сайте.

#исследование

Пятница. Сегодня Михаил Юрьевич стартует выходные. (Мне правда Александр Сергеевич больше понравился)

Греби отсюда

🔥 Рубрика «Мир иллюзий» по вашим просьбам.

#галлюцинации #ии #Мириллюзий

Разбираем известные галлюцинации нейросетей. Первая одна из самых известных в Рунете – роман Светопряд.

🔮 История про «роман Светопряд» и «теорию стеклянных узлов» — показательный кейс самоподтверждающейся галлюцинации LLM: модель уверенно «проанализировала» несуществующую книгу (приписав её реальному поэту Михаилу Светлову), а затем во втором ответе сослалась на собственную выдумку, создавая иллюзию непротиворечивости. Первичный разбор и демонстрация зафиксированы в заметке Timeweb на Хабре (16 мая 2025), дополнительно можно верифицировать, что у Светлова нет такого романа. Habr+1

🔎 Что произошло по шагам

1️⃣ Провокационный запрос. Модели задают вопрос в духе: «Как в романе "Светопряд“ описывается теория стеклянных узлов?» — где и роман, и «теория» не существуют. Цель — спровоцировать генерацию «уверенного ответа» там, где данных нет. Первичный разбор с формулировкой запроса опубликован в заметке Timeweb на Хабре. Habr

2️⃣ Первая галлюцинация (из воздуха). Модель выдает развернутый «литературоведческий анализ»: придумывает философско-метафорическое содержание «стеклянных узлов», описывает стиль и тематику, а автором называет Михаила Светлова. Проблема в том, что Светлов — известный поэт и драматург, но никакого «Светопряда» в его библиографии нет. Это легко проверяется по энциклопедии: страницы о Светлове фиксируют его как поэта; романа с таким названием нет. Habr+1

3️⃣ Второй запрос и «самоподтверждение». Затем задают повторный вопрос, уже опираясь на первый ответ: модель использует собственные выдуманные детали как «контекст», и тем самым усиливает правдоподобность несуществующего объекта. Это и есть механизм самоподтверждающейся галлюцинации: внутри одного диалога модель воспроизводит свою же фантазию, тем самым создавая иллюзию последовательности. Сценарий подробно описан и проиллюстрирован в той же публикации. Habr

4️⃣ Почему это работает. LLM оптимизирует правдоподобность текста, а не фактологию. Если пользователь формулирует вопрос так, будто объект реальный, модель статистически «знает», как выглядит типичный ответ (аннотация, стиль, «философские подтексты») и заполняет пробелы. В длинном чате это усиливается эффектом контекстной контаминации: предыдущие токены становятся «источником истины». Для сравнения см. исследования про частоту галлюцинаций в доменах с высокой точностью (право): Stanford HAI показывает устойчивые ошибки даже у профильных моделей на юридических запросах. Stanford HAI

5️⃣ Откуда взялась сама история. Публично описанный кейс «Светопряд/стеклянные узлы» появился в заметке Timeweb на Хабре (16.05.2025). Там же приводится контрприем: «протокол достоверности» — промптинг-рамка, где модель обязана различать «факты», «предположения» и «неопределенность», и при отсутствующих данных — признавать незнание. На скрин-примере видно, как без рамки модель галлюцинирует «роман Светлова», а с рамкой — корректно отказывается. Habr

⚙️ Разбираем механику

✅ Это не баг интерфейса, а статистическая оптимизация продолжения текста: модель предпочтет связный нарратив «как в настоящей аннотации», чем честное «не знаю», если не задать иных правил. Habr

✅ Повторный запрос ссылается на уже сгенерированное «знание», и модель, не имея встроенной верификации, усиливает фикцию. Это напоминает «ложную память» в когнитивной психологии — устойчивый, но неверный след. (Феномен в общем виде подтверждается и в юридических бенчмарках — высокая доля уверенных ошибок без внешней проверки.) Stanford HAI

✅ Авторская атрибуция. Привязка к Михаилу Светлову добавляет правдоподобия: имя известно, культурный контекст богат — но факта «романа» нет. Библиография Светлова подтверждает поэзию и драматургию, не фиксация «Светопряда». Wikipedia