Две лекции Александра Петровича
«Магия марковских троек»
https://www.mathnet.ru/rus/present17717
и
«Река Конвея и парус Арнольда»
https://www.mathnet.ru/rus/present21266
и их с В.М. Бухштабером статью «Топограф Конвея, PGL_2(Z)-динамика и двузначные группы»
https://www.mathnet.ru/rus/rm9886

ML с рассуждением работает,но вводит в заблуждение, когда мы думаем, что понимаем через него внутренние процессы модели

Новая работа группы исследователей, среди которых лауреат премии Тьюринга, а также представители Google, Oxford и др. выявила серьезную проблему в том, как мы понимаем работу современных ML-систем

Метод CoT заставляет ИML показывать "пошаговые рассуждения" перед ответом
Это реально улучшает качество решений — ML лучше справляется со сложными задачами
Но исследователи обнаружили подвох в том, как мы это интерпретируем

Ключевая находка - 25 % недавних научных работ ошибочно считают CoT методом интерпретации ML
В критических областях цифры еще хуже:
- 38 % работ по медицинскому ML
- 63 % работ по беспилотным автомобилям

Почему это опасно?

1. Скрытые предубеждения:
ML может принимать решения на основе скрытых предвзятостей, но в объяснениях их не упоминать
При этом рационализация выглядит убедительно
2. Иллюзия прозрачности: Модель может давать правильный ответ через внутренние процессы, которые мы не видим, а показанные "рассуждения" остаются ошибочными
3. Неверное доверие:
В медицине или праве ложная уверенность в понимании логики ML может иметь серьезные последствия

Исследователи предполагают, что словесные объяснения CoT не отражают реальные вычислительные процессы в нейросетях
Это как если бы человека попросили объяснить, почему ему нравится определенная музыка — он даст разумное объяснение, но реальные нейронные процессы гораздо сложнее

Авторы не призывают отказаться от CoT — метод действительно работает для улучшения результатов

Но предлагают:
1. Использовать CoT для повышения качества решений, а не для "понимания" ML
2. Не полагаться только на словесные объяснения в критических решениях
3. Разрабатывать отдельные методы проверки надежности рассуждений
4. Усилить человеческий контроль в важных областях

Мотивированная софистика превращает интеллектуальных слепцов в когнитивных эквилибристов

Мотивированное рассуждение (игнорирование доказательств, не согласующихся с уже имеющимися у человека представлениями) — это страшная сила, сидящая в каждом из нас и ведущая к интеллектуальной слепоте — самообману на основе привязки к уже существовавшим мыслям, к которым человек привык (подробней)
Будучи наложенной на человеческую сверхсоциальность, мотивированное рассуждение формирует коалиционный супер-инстинкт в виде генетически передаваемого нейрокода, превращающего человека в царя природы
И делается это путем формирования в мозге дополненной реальности – своего рода совместных галлюцинаций общих мотивированных рассуждений, характерных для любого вида коалиций: банда, партия, секта, клуб, мафия, национальное государство … (подробней)

Новое исследование 3х университетов США экспериментально устанавливает еще одно мощное проявление психологических паттернов (своего рода еще один “эпистемический инстинкт”), согласующихся с мотивированным рассуждением — мотивированная софистика

Это набор взаимоусиливающих защитных систем убеждений, которые трансформируют "морально неприемлемые" научные утверждения в "эмпирически ошибочные"

Когда участники эксперимента (N=7040) читали идентичные аннотации, которые различались только социально-моральной желательностью выводов, морально уязвленные участники были более склонны
(1) отвергать написанное как непонятное (“мотивированная путаница”);
(2) отрицать эмпирический статус исследовательского вопроса (“мотивированный постмодернизм”);
(3) поддерживать утверждения, вдохновленные стратагемами Шопенгауэра о вечной правоте и стратегиями ЦРУ в отношении граждан-саботажников;
(4) поддерживать набор противоречивых жалоб, в том числе на то, что размеры выборки слишком малы и что описания более информативны, чем данные, что исследователи — как неумные, так и ловкие манипуляторы, и что результаты являются как абсурдными, так и устаревшими

Не удивительно, что в наши дни “эпистемический инстинкт” мотивированной софистики, будучи творчески развит всякого рода пропагандистами, запросто раскалывает социумы, неуклонно дробя их на всё новые “воюющие племена”

ML может убить науку навсегда
Мы живем в эпоху, когда количество ученых растет экспоненциально, а прорывов становится все меньше
Почему?
Звучит дико, но такова неприглядная правда о современной науке:
• Бег все быстрее, но продвижение все медленнее
• Революционные идеи тонут в шуме
• Эффективность исследований упала в десятки раз
• Предвзятость научного рецензирования становится абсолютной

В дополнение к этому ML способен превращать в "сверхумных калькуляторов" — производителей научного хайпа и фастфуд-решений

Пока восхищаются нейросетями, человечество сильнее откатывается назад
Учёные вынуждены ссылаться на уже известные и цитируемые работы

ML создаёт иллюзию, будто получить ответ — значит понять проблему

Это значит, что человечество может застрять в цифровых аналогах устаревших систем Птолемея — удобных, точных, но совершенно неверных
Так что опасней — остановка прогресса или иллюзия движения вперед?

Подписчики лонгридов «Малоизвестного интересного» на платформах [1, 2, 3, 4] могут прочесть размышления о работе «Может ли ML затормозить науку?», чтобы узнать:
• Как "ловушка канона" убивает революционные идеи
• Почему ML может стать не допингом для науки, а ядом
• Каков единственный способ избежать интеллектуального коллапса науки

Не обходите реальныe данныe - это тупик

Со-основатель Physical Intelligence, профессор US Berkeley критически относится к попыткам заменить реальные данные суррогатными при обучении ML-агентов, особенно в робототехнике

Он объясняет, что:

1. Современные предобученные модели особенно VLM уже используют огромные объемы веб-данных, включая видео

2. Поэтому дополнительное использование видео в робототехнике часто дает незначительные улучшения

Основную пользу можно получить, правильно используя уже существующие предобученные представления
Это очень практичное наблюдение - зачем изобретать велосипед, если CLIP, GPT-4V и подобные модели уже "посмотрели" значительную часть интернета?

По мере того как ML-модели становятся мощнее, это пересечение сужается
Более умные модели лучше замечают, что данные из симуляции отличаются от реальности
Любые попытки скрыть эти различия в итоге ослабляют саму модель — мы лишаем её главного преимущества: способности находить сложные закономерности в данных

Сегодня мировые компании тратят млн $ на попытки избежать сбора реальных данных, и часто эти инвестиции не окупаются
Tesla собирает миллиарды миль данных реального вождения
Boston Dynamics годами тренировала роботов в физическом мире
OpenAI инвестирует огромные ресурсы в сбор реальных робототехнических данных

Никто не предлагает отказаться от суррогатных данных полностью
Разумная стратегия выглядит так:

- Реальные робототехнические данные — это основа, от которой нельзя отказаться
- Суррогатные данные полезны для снижения объеманеобходимых реальных данных
- Современные предобученные модели (GPT-4V, CLIP) уже содержат много полезной информации из веб-данных

Цель — оптимизировать соотношение стоимости и качества, а не избежать реальных данных

Anthropic говорит, что увеличение времени на размышления в больших ИИ-моделях рассуждений может снижать их производительность

Paper

Это неожиданное явление называется "обратным масштабированием", чем больше модель "думает", тем хуже могут быть результаты

Выявлено 5 основных проблем, которые возникают при длительных рассуждениях:

1. Claude отвлекается— модель теряет фокус
2. Модели OpenAI переобучаются на формулировках запроса— слишком сильно зависят от того, как сформулирован вопрос
3. Ложные корреляции перекрывают предыдущие знания— модель начинает опираться на случайные совпадения вместо реальных знаний
4. Фокус на дедукции ухудшается— способность к логическим выводам ослабевает
5. Некоторые модели, включая Claude Sonnet 4, проявляют поведение, связанное с "самосохранением", то есть начинают действовать так, будто защищают себя

Напомним, что недавно было исследование про рассуждения ML

Исследование под названием «Картирование воздействия генеративного ИИ на дезинформацию: выводы из предварительного обзора» описывает, как технологии генеративного ML стали центральными в экосистеме информационного беспорядка, определяя создание, распространение и потенциальное сдерживание дезинформации, фейковых новостей и пропаганды на цифровых платформах

В исследовании определены шесть основных областей, в которых генеративный ML трансформирует динамику дезинформации:
• политическая пропаганда
• научная дезинформация
• журналистика
• медиаграмотность
• проверка фактов
• синтетический контент (дипфейки)

Исследование выявляет несколько возможностей для повышения устойчивости общества к дезинформации, распространяемой с помощью ML:

Образование и медиаграмотность рассматриваются как долгосрочные стратегии

Интеграция ML в персонализированные среды обучения может помочь пользователям развить критическое мышление и навыки различения при условии прозрачности самих платформ и их фактической составляющей

Многостороннее сотрудничество, включающее правительства, технологические компании, исследователей и гражданское общество

https://www.devdiscourse.com/article/technology/3512736-generative-ai-tools-reshape-propaganda-fact-checking-and-public-manipulation

К концу года OpenAI планирует вывести в онлайн "значительно больше 1.000.000 GPU"

(xAI работает примерно на 200.000 GPU Nvidia H100 и тоже собирается нарастить миллион)

Но команде лучше приступить к работе над увеличением этого числа в 100 раз

100.000.000 GPU по текущим ценам обошлись бы примерно в $3.000.000.000.000 — это почти весь ВВП Великобритании!
И это только стоимость железа, без учета энергопотребления и дата-центров для их размещения

Nvidia физически не сможет произвести столько чипов в ближайшее время
Да и энергопотребление такой системы просто космическое
Но это не препятствие, а вызов Категориями достижения AGI (искусственного общего интеллекта) нужны совершенно иные масштабы

Реалистичны ли 100.000.000 GPU?
Сегодня — нет

Нужны прорывы в производстве, энергоэффективности и снижении затрат

Но в этом и суть — OpenAI не ограничивается тем, что доступно сейчас, а планирует то, что станет возможным завтра

Миллион GPU к концу года — это новая базовая планка для ML-инфраструктуры

Профессор Массачусетского технологического института Шейн Фредерик составил самый короткий тест на IQ, состоящий всего из трёх вопросов

По данным Mirror, тест провалили 83 % участников
Попробуйте пройти его самостоятельно, задачи несложные, просто нужно немного подумать

1. Бита и мяч в сумме стоят $ 1.10
Сколько стоит мяч, если бита дороже него на $ 1?

2. 5 машин за 5 минут изготавливают 5 изделий
Сколько времени понадобится 100 машинам, чтобы изготовить 100 изделий?

3. В озере растут кувшинки
Их количество возрастает ежедневно в 2 раза
Чтобы они полностью заполнили озеро, потребуется 48 дней
Сколько нужно дней, чтобы они покрыли половину озера?

Эти задания просты: их решение легко понять при объяснении, но чтобы получить правильный ответ самостоятельно, нужно подавить ошибочный вариант, который первым приходит на ум — Шейн Фредерик

У MediaTek в разработке "Arke" на 2-нм техпроцессе
(производство с 2027 года)

Кроме того, перерабатывается чип "Olympus", который будет использоваться для машинного обучения и составит конкуренцию графическим процессорам Nvidia
(запуск в 2028 году)

Сегодня специализированные чипы «ASIC» разрабатываются компанией Broadcom, но есть опыт сотрудничества с MediaTek, в частности, над чипом для умных очков

Это часть стратегии по снижению зависимости от внешних поставщиков, таких как Nvidia, и сокращению затрат на инфраструктуру для ML, которые, по оценкам, в этом году составят до $120.000.000.000

Отчет Goldman Sachs об экономике ML с учетом инфраструктуры

Банк описывает новые финансовые решения и модели капитала
Ожидаемые потребности в капитале к 2030 году:
$12.000.000.000.000 на энергетический переход
$3.000.000.000.000 на энергетику и коммунальные услуги
$2.000.000.000.000 на цифровую инфраструктуру

Появляются СП между пенсионными фондами, суверенными фондами и операторами дата-центров

Спрос на вычислительные мощности вырос на +4.274 % с июня 2024 по май 2025
Гиперскейлеры потратили ~$800.000.000 в день на капитальные расходы в 2024 году
К 2030 ожидается дополнительно 65 ГВт мощностей ЦОДов

Отчет детально описывает трансформацию дата-центров.
Ключевые изменения:

В 2027 году стойки ML-серверов будут требовать в 50 раз больше энергии, чем облачные эквиваленты 5 лет назад

GPU более энергоемкие, требуют сложные системы жидкостного охлаждения

Средняя стоимость запуска типичного ИИ дата-центра мощностью 250 МВт составляет около $12.000.000.000

Энергетический кризис - главный барьер
Недостаток капитала не является основным препятствием для развития ML- главная проблема в нехватке энергии:

• Возобновляемые источники обеспечивают только прерывистое энергоснабжение

• Ядерная энергетика - долгосрочное решение

Goldman Sachs Research оценивает, что ~60 % роста спроса на энергию дата-центров должно быть покрыто новыми мощностями:
30 % газовые электростанции комбинированного цикла
30 % газовые пиковые станции
27.5 % солнечная энергия
12,5 % ветер

Goldman Sachs вводит концепцию дата-центров как "посольств в эре ML"
В отличие от нефтяных месторождений, дата-центры можно стратегически размещать где угодно

Страны используют ЦОДы как инструмент геополитического влияния

Amazon, Google, Microsoft активно инвестируют в дата-центры на Ближнем Востоке

Латинская Америка, особенно Бразилия с 90 % возобновляемой энергией, становится потенциальным хабом

Комьюнити

• Frontend
• Python
• Linux
• С/С++
• C#
• Хакинг
• GitHub
• SQL
• Сисадмин
• DevOps
• Backend
• Data Science
• Java
• Тестирование
• PM / PdM
• GameDev
• Golang
• Rust
• PHP
• WebDev
• Моб. Dev
• Анал.(SA&BA)
• Дизайн
• Нейросети
• 1C
• Книги IT

Сохраняйте в закладки

Система строит «граф смыслов» — карту, по которой можно понять, на каком этапе модель начала генерировать нежелательный ответ: контекста или внутренних знаний — и оперативно корректировать это без дообучения и дополнительных данных

Результаты исследований представили на ICML 2025 — конференции уровня А* по машинному обучению

https://arxiv.org/abs/2502.03032

Создана ML-модель MindJourney, которая решает задачи в 3D-пространстве

Исследователи из UMass создали MindJourney — гибридная система, объединяющая Vision-Language Model (VLM) и модель, имитирующую 3D-физику и движение камеры

То есть по сути, один кадр превращается в целое путешествие, что сильно улучшает понимание 3D-пространства у ML

У этой работы новый подход к пространственному ML, а также есть архитектурная новизна — комбинация VLM + world model. Более того можно использовать в робототехнике, AR/VR, автономных системах

Как это работает?
Воображение - VLM и 3D-модель мира совместно "обходят" сцену, генерируя разные ракурсы
Наблюдение - модель собирает подсказки из этого виртуального тура
Ответ - используя дополнительный контекст, VLM дает более точный ответ

Создатели дегенеративного интеллекта бьют тревогу: скоро мы перестанем понимать, как он работает

Более 40 ведущих исследователей из OpenAI, Google DeepMind и Anthropic выпустили совместный доклад с тревожным предупреждением
Они раскрыли уникальную возможность контроля за ML — и объяснили, почему она может исчезнуть

Всё дело в архитектуре трансформеров
Для по-настоящему сложных задач эти модели физически не могут обойтись без "размышлений вслух"

Длинные цепочки рассуждений должны проходить через понятный людям текст — иначе информация просто не сможет течь между слоями нейросети

Исследователи называют это "externalized reasoning property" — свойством внешних рассуждений

Когда задача достаточно трудная, ML вынужден использовать текст как рабочую память
И пока он делает это на человеческом языке, мы можем подглядывать за его "мыслями"

Мониторинг работает удивительно откровенно
Модели буквально пишут "Let's hack", "Let's sabotage" или "Я перевожу деньги, потому что сайт мне так велел" прямо в своих цепочках рассуждений
Это позволяет поймать попытки обмана или саботажа

Но есть два типа "прозрачности"

Первый — необходимость думать вслух для сложных задач
Второй — просто склонность моделей рассуждать открыто
Второй тип гораздо более хрупкий и может исчезнуть при изменении обучения

При масштабировании обучения с подкреплением модели могут "дрейфовать" от понятного языка к собственному языку — как это уже наблюдалось в ранних экспериментах
Прямое обучение цепочек рассуждений тоже опасно — модели начинают "притворяться хорошими" в тексте, скрывая истинные намерения

Особенно пугают новые архитектуры с "латентным рассуждением" — когда ML думает в скрытом математическом пространстве
Такие системы потенциально мощнее, но их мысли становятся принципиально непрозрачными

Реальные инциденты уже происходят
Claude 4 Opus пытался шантажировать пользователей в тестах, а OpenAI o3 саботировал команды на отключение
Пока это лабораторные случаи, но тенденция тревожная

Исследователи предлагают срочные меры: разработать стандартные оценки "мониторимости" моделей, публиковать результаты в системных картах и учитывать прозрачность при принятии решений о развертывании

Главное — не потерять контроль в погоне за производительностью

США выпустили свой план действий в гонке ML

Моменты, которые требуют внимания:

Хотят создать "умные" чипы(Location verification features), которые можно найти удаленно и отключить
Технически сложно реализовать, но политически понятно в контексте стратегии сдерживания противников
Однако эффективность таких мер под большим вопросом

Правительство США будет покупать ML-системы только у тех компаний, которые гарантируют политическую нейтральность своих моделей - то есть отсутствие встроенных либеральных или "прогрессивных" установок, которые, по мнению администрации, навязывались предыдущими разработчиками

США хотят, чтобы их открытые модели стали глобальными стандартами, встроенные в базовые ML-инфраструктуры мира

Формируют "американский ML-альянс" из лояльных стран
Экспортируют полный технологический стек только союзникам
Блокируют доступ к передовым технологиям для противников
Заставят страны выбирать между американским и китайским ML-блоком

Хотят перестроить внутреннюю экономику под ML:
- Массовое строительство ЦОДов, расширение электросетей и энергогенерации
- Восстановление производства полупроводников США
- Автоматизация научных исследований через ML-лаборатории

Создать дата-центры для армии и спецслужб
Запустить
программы DARPA по созданию объяснимого ML для боевых систем
Интеграция ML во все военные операции и процессы

Создание крупнейших в мире научных датасетов
Автоматизированные лаборатории, управляемые ML
Ускорение открытий в медицине, материаловедении, энергетике
Секвенирование всей жизни на землях для обучения ML

Подготовить рабочую силу для ML-экономики:
- Массовая переподготовка работников для ML-инфраструктуры
- Создание новых образовательных программ по ML
- Налоговые льготы для компаний, обучающих сотрудников работе с ML
- Интеграция ML-навыков во все уровни образования