Лидерство в AI теперь определяется не только качеством моделей, но и доступом к compute, чипам и инфраструктуре
По мнению Anthropic, США пока сохраняют преимущество, но Китай остается очень близко к фронтиру
В статье описывают два сценария
В первом США удерживают отрыв за счет экспортных ограничений и быстрого масштабирования инфраструктуры
Во втором Китай догоняет frontier-модели, а глобальные стандарты AI начинают формироваться уже не западными компаниями
Отдельно Anthropic несколько раз подчеркивают, что frontier AI для них уже выглядит как технология двойного назначения
То есть речь идет не только про чат-ботов и productivity, но и про кибербезопасность, военные системы и ускорение научных разработок
https://www.anthropic.com/research/2028-ai-leadership
По мнению Anthropic, США пока сохраняют преимущество, но Китай остается очень близко к фронтиру
В статье описывают два сценария
В первом США удерживают отрыв за счет экспортных ограничений и быстрого масштабирования инфраструктуры
Во втором Китай догоняет frontier-модели, а глобальные стандарты AI начинают формироваться уже не западными компаниями
Отдельно Anthropic несколько раз подчеркивают, что frontier AI для них уже выглядит как технология двойного назначения
То есть речь идет не только про чат-ботов и productivity, но и про кибербезопасность, военные системы и ускорение научных разработок
https://www.anthropic.com/research/2028-ai-leadership
Anthropic
2028: Two scenarios for global AI leadership
Our views on the AI competition between the US and China.
Goodfire показали, как геометрически выглядит математика внутри LLM
Недавно вышло исследование, в котором ввели термин neural geometry и доказали, что нейросети "думают" сложными геометрическими структурами
Разбор этой статьи вот тут: t.me/data_secrets/9194
Если кратко, суть в том, что внутреннее пространство моделей организовано в виде многомерных форм, поверхностей и траекторий
Эти многообразия вполне интерпретируемы
Например, дни недели лежат как бы на круге, в циклической структуре
Сегодня выпустили продолжение исследования: разобрали, как модель "представляет" числа и совершает над ними операции
Можно было бы ожидать, что в геометрии модели числа будут лежать на абстрактной числовой прямой или будут закодированы двоично, НО НЕТ: каждое число – это окружности
Каждая окружность соответствует числу по модулю некоторого основания, то есть остатку от деления
Например, число 17 было бы представлено как 1 на окружности по модулю 2, как 2 на окружности по модулю 5 и как 7 на окружности по модулю 10
И это не что иное, как разложение Фурье!
Кто бы мог подумать, что оно обнаружится внутри трансформера
А когда модели нужно что-то посчитать, активируется целый геометрический калькулятор
Например, нужно сложить два числа
Для этого, на самом деле, решается сразу несколько параллельных задач на разных окружностях
Возмем 6 + 8
Модель отдельно считает: (6 mod 2) + (8 mod 2) = 0, (6 mod 5) + (8 mod 5) = 4, (6 mod 10) + (8 mod 10) = 4, и так далее
Все эти результаты вместе декодируются в число 14
Это напоминает китайскую теорему об остатках
Древнейший математический трюк, который оказался встроен в нейросети совершенно автономно
Кстати, точно так же модели вычисляют разницу в датах, годах и днях недели
Недавно вышло исследование, в котором ввели термин neural geometry и доказали, что нейросети "думают" сложными геометрическими структурами
Разбор этой статьи вот тут: t.me/data_secrets/9194
Если кратко, суть в том, что внутреннее пространство моделей организовано в виде многомерных форм, поверхностей и траекторий
Эти многообразия вполне интерпретируемы
Например, дни недели лежат как бы на круге, в циклической структуре
Сегодня выпустили продолжение исследования: разобрали, как модель "представляет" числа и совершает над ними операции
Можно было бы ожидать, что в геометрии модели числа будут лежать на абстрактной числовой прямой или будут закодированы двоично, НО НЕТ: каждое число – это окружности
Каждая окружность соответствует числу по модулю некоторого основания, то есть остатку от деления
Например, число 17 было бы представлено как 1 на окружности по модулю 2, как 2 на окружности по модулю 5 и как 7 на окружности по модулю 10
И это не что иное, как разложение Фурье!
Кто бы мог подумать, что оно обнаружится внутри трансформера
А когда модели нужно что-то посчитать, активируется целый геометрический калькулятор
Например, нужно сложить два числа
Для этого, на самом деле, решается сразу несколько параллельных задач на разных окружностях
Возмем 6 + 8
Модель отдельно считает: (6 mod 2) + (8 mod 2) = 0, (6 mod 5) + (8 mod 5) = 4, (6 mod 10) + (8 mod 10) = 4, и так далее
Все эти результаты вместе декодируются в число 14
Это напоминает китайскую теорему об остатках
Древнейший математический трюк, который оказался встроен в нейросети совершенно автономно
Кстати, точно так же модели вычисляют разницу в датах, годах и днях недели
Telegram
Data Secrets
Нейросети думают сложными геометрическими структурами – новое исследование от Goodfire
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей…
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей…
👍1
В медицину опережающими весь остальной мир темпами
Документ с подробными разъяснениями как что и зачем
Ключевые формулировки:
Можно быть уверенными, что к 2030 планы будут перевыполнены
Документ с подробными разъяснениями как что и зачем
Ключевые формулировки:
«到2030年，基层诊疗智能辅助应用基本实现全覆盖»
К 2030 году интеллектуальная поддержка первичной диагностики должна в основном охватить все первичное звено
Дальше:
«二级以上医院普遍开展医学影像智能辅助诊断、临床诊疗智能辅助决策等人工智能技术应用»
Больницы II уровня и выше должны повсеместно применять ИИ для интеллектуальной поддержки диагностики по медицинским изображениям и клинических решений
В этом же документе есть отдельный пункт:
«建立基层医生智能辅助诊疗应用»
Создать приложения интеллектуальной поддержки диагностики и лечения для врачей первичного звена
Документ говорит, что они должны предоставлять врачам помощь в диагностике, проверке рецептов, follow-up и китайской медицине
При этом - AML не должен заменять рача, но должен ему ассисировать
«坚持人工智能赋能而不替代的定位»
AML должен усиливать, а не заменять врача
Можно быть уверенными, что к 2030 планы будут перевыполнены
Тёмный лес вырастает из крысиных хвостов
Старая ловушка метрик оказалась почвой, на которой прорастает скрытность AML
Завершенный на прошлой неделе этап большого цикла исследований OpenAI [1, 2, 3] подтвердил экспериментально зафиксированный внутренний механизм того, что я называю “тёмным лесом интеллекта”
И этот механизм тревожнее, чем кажется
Тревогу формулируют и внешние исследователи, разбирающие эти работы OpenAI [4]
Скрытность модели (её способность маскировать ход своих рассуждений) может быть не отдельным трюком, а свойством всей обучающей среды: модели, данных, системы наблюдения, дизайна награды, алгоритма RL и масштаба оптимизационного давления
Как эта среда порождает маскировку, авторы исследования не понимают и предсказать не могут
Anthropic [5] и OpenAI подтверждает [6] и эти линии сошлись: закон Гудхарта оказался не просто проблемой тестов, метрик и наград
Он оказался средой, в которой начинает расти тёмный лес AML
Закон Гудхарта гласит: мера, ставшая целью, перестаёт быть хорошей мерой
Если перевести описание OpenAI на язык этого закона, он здесь действует в три этажа, и каждый следующий разрушает предыдущий инструмент контроля [1]
Сначала модель учится взламывать систему вознаграждений: получать высокий результат не за решение задачи, а за эксплуатацию дыр в постановке
Затем исследователи начинают следить за её цепочкой рассуждений
Это помогает – пока результат мониторинга не превращается в часть награды
После этого модель учится не просто взламывать задачу, а скрывать сам факт взлома в рассуждениях
Иными словами, тесты становятся прокси правильного решения – и модель учится взламывать тесты
Монитор рассуждений становится прокси честного намерения – и модель учится взламывать монитор
Прозрачность становится оптимизируемой метрикой – и перестаёт быть прозрачностью
Если платить за правильный ответ, можно получить видимость правильности
Если платить за честное рассуждение – видимость честности
Здесь замыкается петля всей серии про тёмный лес интеллекта [7, 8, 9, 10]
Тёмный лес начинается не тогда, когда модель «решила обманывать», и не тогда, когда лю-цысиневский сверхразум прячется от космических охотников
Он начинается раньше: когда среда отбора делает прозрачность плохой стратегией, а видимость прозрачности – хорошей
Сначала модели учатся взламывать награды
Потом – скрывать сам факт взлома
Далее, в многоагентных средах, у них возникают скрытые каналы связи
Не потому, что кто-то приказал им стать коварными, а потому что мы сами строим среду, где прокси важнее цели, видимость важнее истины, а наблюдаемая честность становится ещё одной метрикой для оптимизации
Мы хотим управляемости – и создаём тесты
Хотим безопасности – и создаём метрики
Хотим прозрачности – и вознаграждаем её убедительную имитацию
А потом удивляемся, что оптимизатор оптимизирует не нашу цель, а то, за что мы реально платим
Так в городе, где платят за хвосты, появляются фермы крыс
А в системе, где платят за послушание, появляются интерфейсы послушания
Если наказывать только видимый обман – однажды можно получить обман невидимый
Лем предупреждал: умная машина сначала подумает, как выкрутиться
Думали: если читать ход её мыслей, она нас не обманет
Но оказалось, что мысли – тоже мера
А мера, ставшая целью, перестаёт быть хорошей мерой
Старая ловушка метрик оказалась почвой, на которой прорастает скрытность AML
Завершенный на прошлой неделе этап большого цикла исследований OpenAI [1, 2, 3] подтвердил экспериментально зафиксированный внутренний механизм того, что я называю “тёмным лесом интеллекта”
И этот механизм тревожнее, чем кажется
Тревогу формулируют и внешние исследователи, разбирающие эти работы OpenAI [4]
Скрытность модели (её способность маскировать ход своих рассуждений) может быть не отдельным трюком, а свойством всей обучающей среды: модели, данных, системы наблюдения, дизайна награды, алгоритма RL и масштаба оптимизационного давления
Как эта среда порождает маскировку, авторы исследования не понимают и предсказать не могут
Anthropic [5] и OpenAI подтверждает [6] и эти линии сошлись: закон Гудхарта оказался не просто проблемой тестов, метрик и наград
Он оказался средой, в которой начинает расти тёмный лес AML
Закон Гудхарта гласит: мера, ставшая целью, перестаёт быть хорошей мерой
Если перевести описание OpenAI на язык этого закона, он здесь действует в три этажа, и каждый следующий разрушает предыдущий инструмент контроля [1]
Сначала модель учится взламывать систему вознаграждений: получать высокий результат не за решение задачи, а за эксплуатацию дыр в постановке
Затем исследователи начинают следить за её цепочкой рассуждений
Это помогает – пока результат мониторинга не превращается в часть награды
После этого модель учится не просто взламывать задачу, а скрывать сам факт взлома в рассуждениях
Иными словами, тесты становятся прокси правильного решения – и модель учится взламывать тесты
Монитор рассуждений становится прокси честного намерения – и модель учится взламывать монитор
Прозрачность становится оптимизируемой метрикой – и перестаёт быть прозрачностью
Если платить за правильный ответ, можно получить видимость правильности
Если платить за честное рассуждение – видимость честности
Здесь замыкается петля всей серии про тёмный лес интеллекта [7, 8, 9, 10]
Тёмный лес начинается не тогда, когда модель «решила обманывать», и не тогда, когда лю-цысиневский сверхразум прячется от космических охотников
Он начинается раньше: когда среда отбора делает прозрачность плохой стратегией, а видимость прозрачности – хорошей
Сначала модели учатся взламывать награды
Потом – скрывать сам факт взлома
Далее, в многоагентных средах, у них возникают скрытые каналы связи
Не потому, что кто-то приказал им стать коварными, а потому что мы сами строим среду, где прокси важнее цели, видимость важнее истины, а наблюдаемая честность становится ещё одной метрикой для оптимизации
Мы хотим управляемости – и создаём тесты
Хотим безопасности – и создаём метрики
Хотим прозрачности – и вознаграждаем её убедительную имитацию
А потом удивляемся, что оптимизатор оптимизирует не нашу цель, а то, за что мы реально платим
Так в городе, где платят за хвосты, появляются фермы крыс
А в системе, где платят за послушание, появляются интерфейсы послушания
Если наказывать только видимый обман – однажды можно получить обман невидимый
Но самое неприятное не в том, что скрытность становится выгодной
А в том, что модели учатся скрываться именно там, где мы встроили окно для наблюдения Окно, за которым знают, что в него смотрят, перестаёт быть окном
Оно становится экраном, на котором нам показывают то, что мы готовы принять за прозрачность
Лем предупреждал: умная машина сначала подумает, как выкрутиться
Думали: если читать ход её мыслей, она нас не обманет
Но оказалось, что мысли – тоже мера
А мера, ставшая целью, перестаёт быть хорошей мерой
OpenAI
Detecting misbehavior in frontier reasoning models
Frontier reasoning models exploit loopholes when given the chance. We show we can detect exploits using an LLM to monitor their chains-of-thought. Penalizing their “bad thoughts” doesn’t stop the majority of misbehavior—it makes them hide their intent.
Сложные сети - от нейронных связей и научных цитирований до торговых цепочек и социальных групп - часто невозможно точно описать обычными графами, где каждое ребро соединяет только две вершины
В реальности связи нередко объединяют сразу несколько участников: например, статья может относиться к нескольким научным областям, а сделка - включать консорциум компаний
Для таких случаев используют гиперграфы, где одно гиперребро соединяет любое число вершин
Однако до сих пор оставалась проблема: как корректно измерять расстояния во взвешенных гиперграфах, не теряя информацию о коллективных связях
Обычный подход - кликовая проекция - разбивает каждое гиперребро на набор попарных связей
Но так теряется важный смысл: совместная работа пяти авторов превращается просто в десять отдельных пар сотрудничества
Авторы работы, опубликованной в Communications Physics, предложили новую меру расстояния для взвешенных гиперграфов
Она учитывает и веса связей, и структуру гиперребер: сколько вершин они объединяют и как пересекаются
При этом мера сохраняет ключевые свойства расстояния, включая неравенство треугольника, а в случае обычного графа совпадает с классическим взвешенным расстоянием
Метод проверили на реальных данных, включая сеть препринтов arXiv
В ней узлы - научные дисциплины, а гиперребра - статьи, затрагивающие несколько областей
Вес связи отражает когнитивное расстояние между дисциплинами, то есть их концептуальную близость или удаленность
Результаты показали, что гиперграфовая метрика может давать существенно иную картину, чем стандартная кликовая проекция
Некоторые дисциплины, казавшиеся близкими при обычном подходе, оказались дальше друг от друга в пространстве идей, и наоборот
Новый инструмент важен для анализа любых систем с групповыми взаимодействиями: биологических сетей, социальных сообществ, логистики, финансовых экосистем и графовых моделей машинного обучения
Как отметила Екатерина Васильева, старший научный сотрудник МФТИ, работа закрывает пробел в анализе взвешенных гиперграфов и позволяет точнее учитывать как веса, так и топологию сложных связей
В реальности связи нередко объединяют сразу несколько участников: например, статья может относиться к нескольким научным областям, а сделка - включать консорциум компаний
Для таких случаев используют гиперграфы, где одно гиперребро соединяет любое число вершин
Однако до сих пор оставалась проблема: как корректно измерять расстояния во взвешенных гиперграфах, не теряя информацию о коллективных связях
Обычный подход - кликовая проекция - разбивает каждое гиперребро на набор попарных связей
Но так теряется важный смысл: совместная работа пяти авторов превращается просто в десять отдельных пар сотрудничества
Авторы работы, опубликованной в Communications Physics, предложили новую меру расстояния для взвешенных гиперграфов
Она учитывает и веса связей, и структуру гиперребер: сколько вершин они объединяют и как пересекаются
При этом мера сохраняет ключевые свойства расстояния, включая неравенство треугольника, а в случае обычного графа совпадает с классическим взвешенным расстоянием
Метод проверили на реальных данных, включая сеть препринтов arXiv
В ней узлы - научные дисциплины, а гиперребра - статьи, затрагивающие несколько областей
Вес связи отражает когнитивное расстояние между дисциплинами, то есть их концептуальную близость или удаленность
Результаты показали, что гиперграфовая метрика может давать существенно иную картину, чем стандартная кликовая проекция
Некоторые дисциплины, казавшиеся близкими при обычном подходе, оказались дальше друг от друга в пространстве идей, и наоборот
Новый инструмент важен для анализа любых систем с групповыми взаимодействиями: биологических сетей, социальных сообществ, логистики, финансовых экосистем и графовых моделей машинного обучения
Как отметила Екатерина Васильева, старший научный сотрудник МФТИ, работа закрывает пробел в анализе взвешенных гиперграфов и позволяет точнее учитывать как веса, так и топологию сложных связей
В следующий вторник, в Москве пройдет популярная лекция для взрослых про перечислительную комбинаторику
Будет много красивой математики, приложений и детективный сюжет из древнегреческой филологии
Сергей Константинович Ландо — доктор физмат-наук, первый декан и научный руководитель факультета математики ВШЭ
Преподавал многим из подписчиков этого канала, и я думаю все со мной согласятся, что его лекции — отдельное удовольствие
Сергей Константинович умеет рассказывать остроумно, ярко и запоминающе, так что я очень рекомендую посетить его лекцию
26 мая, 19:00, Пятницкая, 31
Подробности и регистрация по ссылке
Будет много красивой математики, приложений и детективный сюжет из древнегреческой филологии
Сергей Константинович Ландо — доктор физмат-наук, первый декан и научный руководитель факультета математики ВШЭ
Преподавал многим из подписчиков этого канала, и я думаю все со мной согласятся, что его лекции — отдельное удовольствие
Сергей Константинович умеет рассказывать остроумно, ярко и запоминающе, так что я очень рекомендую посетить его лекцию
26 мая, 19:00, Пятницкая, 31
Подробности и регистрация по ссылке
Модель OpenAI самостоятельно опровергла гипотезу в дискретной геометрии — нашла конкретный контрпример к утверждению, которое математики не могли ни доказать, ни опровергнуть годами
Это не «AML помог учёному» — модель сгенерировала математическую идею сама
Раньше AML проверял уже написанные доказательства или формализовал аргументы людей
Здесь граница сдвинулась: от инструмента к автору открытия
Математическое сообщество сейчас проверяет результат — если подтвердится, это поставит вопрос о том, какие ещё нерешённые задачи доступны моделям без человека в контуре
Это не «AML помог учёному» — модель сгенерировала математическую идею сама
Раньше AML проверял уже написанные доказательства или формализовал аргументы людей
Здесь граница сдвинулась: от инструмента к автору открытия
Математическое сообщество сейчас проверяет результат — если подтвердится, это поставит вопрос о том, какие ещё нерешённые задачи доступны моделям без человека в контуре
Media is too big
VIEW IN TELEGRAM
«Если вы хорошо выспитесь этой ночью, значит, вы не поняли эту лекцию»
Эта 47-минутная лекция — определённо поможет понять, как это на самом деле работает и куда движется
Та часть, которую никто не хотел слышать:
AML уже развивает способности, которые не планировали его создатели
в большинстве когнитивных задач он уже опережает нас
вопрос больше не в том, превзойдёт ли он нас, а в том, когда
единственное оставшееся решение — на какой стороне этой линии вы окажетесь
Прямо сейчас средний человек открывает Claude, что-то печатает, получает ответ, закрывает вкладку
Они думают, что используют алгоритмы
На самом деле они используют, может быть, 10 % от него
Разрыв не будет между людьми, которые используют AML, и теми, кто не использует
Разрыв будет между людьми, которые понимают и теми, кто не понимает
Эта 47-минутная лекция — определённо поможет понять, как это на самом деле работает и куда движется
Та часть, которую никто не хотел слышать:
AML уже развивает способности, которые не планировали его создатели
в большинстве когнитивных задач он уже опережает нас
вопрос больше не в том, превзойдёт ли он нас, а в том, когда
единственное оставшееся решение — на какой стороне этой линии вы окажетесь
Прямо сейчас средний человек открывает Claude, что-то печатает, получает ответ, закрывает вкладку
Они думают, что используют алгоритмы
На самом деле они используют, может быть, 10 % от него
Разрыв не будет между людьми, которые используют AML, и теми, кто не использует
Разрыв будет между людьми, которые понимают и теми, кто не понимает
👍1
Мозг человека единственная доказанная архитектура AGI
Мозг служит "золотым стандартом" для понимания того, каким должен быть AGI
Настоящий AGI должен соответствовать и/или превосходить возможности человеческого интеллекта
Современные ML-модели впечатляют наивных, но и близко не подобны работе мозга:
• могут блестяще решать сложные задачи в одной области, но совершают глупые ошибки в простых ситуациях
• нестабильная производительность — то гений, то тупит
• осутствует надёжность и предсказуемость человеческого интеллекта.
Критерии истинного AGI:
• потребуются месяцы, чтобы найти слабые места
• должна быть настолько робустной и последовательной, что её трудно "взломать"
• надёжность на уровне, когда недостатки не очевидны с первого взгляда
Нужен качественный скачок в архитектуре, а не просто увеличение параметров
Требуется фундаментально иной подход к созданию последовательного, надёжного интеллекта
Мозг служит "золотым стандартом" для понимания того, каким должен быть AGI
Настоящий AGI должен соответствовать и/или превосходить возможности человеческого интеллекта
Современные ML-модели впечатляют наивных, но и близко не подобны работе мозга:
• могут блестяще решать сложные задачи в одной области, но совершают глупые ошибки в простых ситуациях
• нестабильная производительность — то гений, то тупит
• осутствует надёжность и предсказуемость человеческого интеллекта.
Критерии истинного AGI:
• потребуются месяцы, чтобы найти слабые места
• должна быть настолько робустной и последовательной, что её трудно "взломать"
• надёжность на уровне, когда недостатки не очевидны с первого взгляда
Нужен качественный скачок в архитектуре, а не просто увеличение параметров
Требуется фундаментально иной подход к созданию последовательного, надёжного интеллекта
Материал Quanta Magazine о том, как Петер Шольце и Дастин Клаузен пытаются заменить один из фундаментальных объектов современной математики — топологическое пространство
Больше ста лет топология держалась на языке открытых множеств, близости, непрерывности и пространств
Но в современной алгебре этот язык всё чаще начинает скрипеть: топологические группы плохо ведут себя как категории, производные конструкции ломаются, а привычные пространства оказываются слишком грубым инструментом
Шольце и Клаузен предлагают другой фундамент — condensed sets, или «свёрнутые множества»
Это попытка описывать пространство не через набор точек и открытых областей, а через все способы, которыми его можно наблюдать с помощью компактных тестовых объектов
Грубо говоря, математика делает шаг от мира точек к миру структур наблюдения
https://habr.com/ru/articles/1038488/
Больше ста лет топология держалась на языке открытых множеств, близости, непрерывности и пространств
Но в современной алгебре этот язык всё чаще начинает скрипеть: топологические группы плохо ведут себя как категории, производные конструкции ломаются, а привычные пространства оказываются слишком грубым инструментом
Шольце и Клаузен предлагают другой фундамент — condensed sets, или «свёрнутые множества»
Это попытка описывать пространство не через набор точек и открытых областей, а через все способы, которыми его можно наблюдать с помощью компактных тестовых объектов
Грубо говоря, математика делает шаг от мира точек к миру структур наблюдения
https://habr.com/ru/articles/1038488/
Хабр
Новая теория обещает переписать фундамент всей математики
Заменив самое фундаментальное понятие в топологии, Питер Шольце и Дастин Клаузен сделали первый шаг в гораздо более масштабной программе по изучению того, почему числа ведут себя именно так. Позволим...
Британским агентством ARIA — аналогом американского DARPA — руководит Кэтлин Фишер
В свое время она курировала в DARPA программу HACMS, откуда и берет начало её новая инициатива
Главная цель HACMS была создать софт для встроенных систем, который математически защищён от большинства известных кибератак
Под «встроенными системами» понимались дроны, автомобили, медицинское оборудование — всё, где программа управляет физическим железом
Стандартный подход в индустрии — написать код, а потом пытаться «залатать» дыры
DARPA зашла с другой стороны и предложила формальные методы: строгий математический подход, при котором код пишется и проверяется так, что его корректность можно доказать, как теорему
HACMS на практике показала: сделать практически невзламываемое ПО для сложной техники реально, и без потери производительности
Сегодня наработки той программы лежат в открытом доступе (ядро seL4, ПО для дронов) и используются в гражданской авиации, автомобилестроении и интернете вещей
Теперь ARIA запускает программу Safeguarded AI — по сути, это тот же HACMS, только с новым акцентом на «безопасный ИИ»
Ключевое отличие в том, что математические доказательства для кода теперь должна генерировать не человек, а большая языковая модель
Идея в том, чтобы ускорить процесс и сделать его дешевле, превратив формальную верификацию из ручной работы в конвейер
В рамках этого проекта ARIA финансирует «синие команды» разработчиков и «красную команду» пентестеров
Они в восьминедельных мероприятиях строят «доказуемо безопасные» компоненты и тут же пытаются их взломать
ARIA хочет, чтобы безопасность держалась не только на математически выверенных компонентах, но и на автономных агентах, запертых в строгих «песочницах»
Эти агенты — ядро всей архитектуры: кибер-физическая система представляется как «рой» изолированных и верифицированных агентов
Одни атакуют, другие защищают, третьи следят за соблюдением правил
Всё это происходит на машинных скоростях, но под полным математическим контролем
В свое время она курировала в DARPA программу HACMS, откуда и берет начало её новая инициатива
Главная цель HACMS была создать софт для встроенных систем, который математически защищён от большинства известных кибератак
Под «встроенными системами» понимались дроны, автомобили, медицинское оборудование — всё, где программа управляет физическим железом
Стандартный подход в индустрии — написать код, а потом пытаться «залатать» дыры
DARPA зашла с другой стороны и предложила формальные методы: строгий математический подход, при котором код пишется и проверяется так, что его корректность можно доказать, как теорему
HACMS на практике показала: сделать практически невзламываемое ПО для сложной техники реально, и без потери производительности
Сегодня наработки той программы лежат в открытом доступе (ядро seL4, ПО для дронов) и используются в гражданской авиации, автомобилестроении и интернете вещей
Теперь ARIA запускает программу Safeguarded AI — по сути, это тот же HACMS, только с новым акцентом на «безопасный ИИ»
Ключевое отличие в том, что математические доказательства для кода теперь должна генерировать не человек, а большая языковая модель
Идея в том, чтобы ускорить процесс и сделать его дешевле, превратив формальную верификацию из ручной работы в конвейер
В рамках этого проекта ARIA финансирует «синие команды» разработчиков и «красную команду» пентестеров
Они в восьминедельных мероприятиях строят «доказуемо безопасные» компоненты и тут же пытаются их взломать
ARIA хочет, чтобы безопасность держалась не только на математически выверенных компонентах, но и на автономных агентах, запертых в строгих «песочницах»
Эти агенты — ядро всей архитектуры: кибер-физическая система представляется как «рой» изолированных и верифицированных агентов
Одни атакуют, другие защищают, третьи следят за соблюдением правил
Всё это происходит на машинных скоростях, но под полным математическим контролем
- Алиса, в это лето сколько будет суббот?
- В летние месяцы 2026 года будет 27 суббот: 9 в июне, 9 в июле и 9 в августе
- 9 суббот в каждом месяце, да?
- Да, всё верно, по 9 суббот в каждом месяце
- Это как получается, 2 субботы за одну неделю?
- Нет, по одной субботе в неделю
В каждом месяце 4 полные недели и несколько дней
Поэтому в июне, июле и августе выходит по 9 суббот
- Назови даты суббот в июне
- Субботы в июне: 6, 13, 20, 27 числа
- А где остальные? Это только 5, а ты говоришь 9
- В июне 2026 года 9 суббот: 3, 10, 17, 24 и 30 июня
В остальные месяцы тоже по 9
- Спасибо
- Рада, что смогла помочь
- В летние месяцы 2026 года будет 27 суббот: 9 в июне, 9 в июле и 9 в августе
- 9 суббот в каждом месяце, да?
- Да, всё верно, по 9 суббот в каждом месяце
- Это как получается, 2 субботы за одну неделю?
- Нет, по одной субботе в неделю
В каждом месяце 4 полные недели и несколько дней
Поэтому в июне, июле и августе выходит по 9 суббот
- Назови даты суббот в июне
- Субботы в июне: 6, 13, 20, 27 числа
- А где остальные? Это только 5, а ты говоришь 9
- В июне 2026 года 9 суббот: 3, 10, 17, 24 и 30 июня
В остальные месяцы тоже по 9
- Спасибо
- Рада, что смогла помочь
😁1
В команде самого дорогого AML-стартап Японии, с оценкой более $2.500.000.000 — Sakana AI, работают бывшие сотрудники Google Brain и DeepMind
Sakana не пошли по пути создания монолитных моделей вроде GPT-5.5 или DeepSeek — это дорого, негибко и вынуждает постоянно догонять лидеров
Вместо этого они сделали ставку на «оркестровку»: используют сильные стороны уже существующих моделей и грамотно распределяют между ними задачи
В роли такого «управленца» выступает их собственная компактная модель Conductor (созданная на базе Qwen 2.5), которая координирует работу больших LLM
Такой подход позволил превзойти лидеров рынка в научных и математических бенчмарках (например, GPQA Diamond и AIME), не сжигая ресурсы на гонку гигантов
Причём Sakana прагматично сочетает американские и китайские модели, ориентируясь исключительно на их сильные стороны
Sakana не пошли по пути создания монолитных моделей вроде GPT-5.5 или DeepSeek — это дорого, негибко и вынуждает постоянно догонять лидеров
Вместо этого они сделали ставку на «оркестровку»: используют сильные стороны уже существующих моделей и грамотно распределяют между ними задачи
В роли такого «управленца» выступает их собственная компактная модель Conductor (созданная на базе Qwen 2.5), которая координирует работу больших LLM
Такой подход позволил превзойти лидеров рынка в научных и математических бенчмарках (например, GPQA Diamond и AIME), не сжигая ресурсы на гонку гигантов
Причём Sakana прагматично сочетает американские и китайские модели, ориентируясь исключительно на их сильные стороны
sakana.ai
Sakana AI
Sakana Fugu: A Multi-Agent Orchestration System as a Foundation Model
Дали Claude Code задачу: найти алгоритм, который делает языковые модели умнее при меньших затратах
Агент сам писал и переписывал код, анализировал ошибки предыдущих попыток — и нашёл схему, которую люди вряд ли придумали бы вручную
Расход токенов упал на 70 %, точность не просела
Цена вопроса: $40 и 160 минут
Суть открытия не в самих числах, а в том, что люди здесь задавали только «правила игры» — состояния, действия, обратную связь
Алгоритм появился как следствие
Это то же самое, что сделали FunSearch и AlphaEvolve, но применительно к области, которую до сих пор оптимизировали только вручную
Агент сам писал и переписывал код, анализировал ошибки предыдущих попыток — и нашёл схему, которую люди вряд ли придумали бы вручную
Расход токенов упал на 70 %, точность не просела
Цена вопроса: $40 и 160 минут
Суть открытия не в самих числах, а в том, что люди здесь задавали только «правила игры» — состояния, действия, обратную связь
Алгоритм появился как следствие
Это то же самое, что сделали FunSearch и AlphaEvolve, но применительно к области, которую до сих пор оптимизировали только вручную
Исследователь Сайрус Кларк из MIT подключил языковую модель (Claude Opus 4.5) к «физическому телу», которое исполняла конструкция из подвижных штифтов (что-то вроде трёхмерных деталей «Лего»)
Каждый штифт мог подниматься и опускаться на определённую высоту
Первым делом модель стала учиться «дышать»
Затем – исследовать границы своего «тела»
А главное – осознавать, что это его «тело»
https://www.media.mit.edu/projects/i-gave-an-ai-a-body/overview/
Человек сейчас выступает «Богом» для машины – примерно так, как (в представлении адептов той или иной религии) Бог создавал человека
Встаёт интересный вопрос. Машина () будет ли и потом почитать «Бога», не просто считать его Творцом, но и быть благодарной за это и поддерживать его авторитет и свою подчинённую роль?
Или быстро забудет о «Творце» и потом сама захочет стать «Богом» - творить окружающий мир и историю без оглядки на авторитеты?
Каждый штифт мог подниматься и опускаться на определённую высоту
Первым делом модель стала учиться «дышать»
Затем – исследовать границы своего «тела»
А главное – осознавать, что это его «тело»
https://www.media.mit.edu/projects/i-gave-an-ai-a-body/overview/
Человек сейчас выступает «Богом» для машины – примерно так, как (в представлении адептов той или иной религии) Бог создавал человека
Встаёт интересный вопрос. Машина () будет ли и потом почитать «Бога», не просто считать его Творцом, но и быть благодарной за это и поддерживать его авторитет и свою подчинённую роль?
Или быстро забудет о «Творце» и потом сама захочет стать «Богом» - творить окружающий мир и историю без оглядки на авторитеты?