⚡ Глава Anthropic призвал замедлить развитие ИИ и допустить независимых проверяющих внутрь лабораторий
В статье We Must Pace the Frontier Дарио Амодеи объяснил, почему изменил позицию: в 2023 году замедление казалось ему преждевременным, теперь он считает его необходимым.
Самое интересное:
🔹 ИИ уже ускоряет создание следующего поколения моделей. По словам Амодеи, рекурсивное самоулучшение начинается в отрасли, включая Anthropic. Он опасается, что возможности систем будут расти быстрее, чем способы их контроля.
🔹 Его тревожный сценарий - масштабные кибератаки через 6–12 месяцев. Амодеи допускает, что более мощный рой агентов сможет создать устойчивый ботнет и нанести ущерб на сотни миллиардов долларов. Это его оценка риска.
🔹 Anthropic обещает постоянный доступ внешним проверяющим. Рабочие места, пропуска, инструменты и права, сопоставимые с внутренними командами оценки рисков. Проверять предлагается и готовые модели, и процесс обучения.
🔹 Проверяющие смогут публиковать неудобные выводы. Компания предусматривает ограничения для защищённой информации, но обещает не скрывать результаты только потому, что они ей невыгодны.
🔹 Цель - выиграть год-два для безопасности. Среди предложений: обязательные проверки при достижении опасных возможностей и международные ограничения скорости самоулучшения ИИ. Полную глобальную паузу Амодеи считает маловероятной в ближайшее время.
Полная cтатья - https://darioamodei.com/post/we-must-pace-the-frontier
@ai_machinelearning_big_data
#Anthropic
В статье We Must Pace the Frontier Дарио Амодеи объяснил, почему изменил позицию: в 2023 году замедление казалось ему преждевременным, теперь он считает его необходимым.
Самое интересное:
🔹 ИИ уже ускоряет создание следующего поколения моделей. По словам Амодеи, рекурсивное самоулучшение начинается в отрасли, включая Anthropic. Он опасается, что возможности систем будут расти быстрее, чем способы их контроля.
🔹 Его тревожный сценарий - масштабные кибератаки через 6–12 месяцев. Амодеи допускает, что более мощный рой агентов сможет создать устойчивый ботнет и нанести ущерб на сотни миллиардов долларов. Это его оценка риска.
🔹 Anthropic обещает постоянный доступ внешним проверяющим. Рабочие места, пропуска, инструменты и права, сопоставимые с внутренними командами оценки рисков. Проверять предлагается и готовые модели, и процесс обучения.
🔹 Проверяющие смогут публиковать неудобные выводы. Компания предусматривает ограничения для защищённой информации, но обещает не скрывать результаты только потому, что они ей невыгодны.
🔹 Цель - выиграть год-два для безопасности. Среди предложений: обязательные проверки при достижении опасных возможностей и международные ограничения скорости самоулучшения ИИ. Полную глобальную паузу Амодеи считает маловероятной в ближайшее время.
Полная cтатья - https://darioamodei.com/post/we-must-pace-the-frontier
@ai_machinelearning_big_data
#Anthropic
1👍84🤣73⚡32🤔30❤16👨💻8🤨7👻4🔥3😁1
Стартап NeoCognition разработал первый сквозной бенчмарк использования компьютера, непрерывного обучения и долгосрочной агентной работы на реальной должности.
NeoCognition - лаборатория, в которой собрали бенчмарки MMMU, Mind2Web, SWE-Bench Pro и OSWorld 2, а также агентные системы SeeAct, UGround и HippoRAG.
Агента принимают в виртуальную строительную компанию на работу с кредиторской задолженностью, выдают полугодовой архив счетов, внутренний справочник и руководство по ERP-системе, после чего он начинает работать со счетами.
Первый месяц проходит с подробным фидбэком от руководителя по каждому счёту, а дальше - с редкими замечаниями по итогам месяца.
Каждая из ста задач теста проверена профессиональными бухгалтерами строительной отрасли, которые подтвердили и реалистичность сценариев, и то, что любую задачу способен решить рядовой специалист, изучивший доступные агенту материалы.
Большинство моделей, включая Gemini, Muse Spark, Grok и Kimi, не преодолевают порог в 20-25%, тогда как Fable 5.1 выполнила 72% задач, а GPT-6 Astra - 68%.
Лучший из двух тестировщиков-людей показал 51%, причём проваливались люди на поиске нужного в исторических данных, точности расчётов и мелких ошибках от утомления.
Разрыв между открытыми и закрытыми моделями авторы называют крупнейшим из всех виденных ими на бенчмарках - 72% у Fable 5.1 против 18% у Kimi K3, и вызван он не базовыми операциями в интерфейсе, а неспособностью слабых моделей учиться на дистанции.
Kimi K3 почти не обращался ни к архиву счетов, ни к собственным заметкам и деградировал к концу серии.
Так называемый налог на использование компьютера (просадка при переходе с API на графический интерфейс) у большинства моделей достигает 78%, но Fable 5.1 и GPT-6 Astra работают через GUI даже лучше, чем через API.
Дешевле при этом остаётся API - Fable 5.1 обходится в 6,95 доллара за задачу в программном интерфейсе против 18,23 доллара при работе с графическим.
Способность к обучению измерили отдельно. Fable 5 без доступа к истории и обратной связи, опираясь только на собственные знания, решает 11 счетов из 100.
Подключение архива счетов поднимает результат до 31, обратная связь руководителя - до 35, а оба канала вместе дают 43.
ИИ пока ещё обходится дороже: 18,23 доллара за задачу против 7,21 у людей. К тому же человек по мере накопления опята работает быстрее, а агент - замедляется.
@ai_machinelearning_big_data
#AI #ML #Benchmark #ApprenticeBench #NeoCognition
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔104❤43👏30💯15👍11🔥6👌4🎉2🤓2👀1
Глава OpenAI занял девятую строчку рейтинга, разделив её с Марком Цукербергом.
Обе фигуры издание объединило формулировкой «...технологические лидеры, выводящие ИИ за пределы цифрового мира».
Три года назад Альтман тот же список возглавлял, а в прошлогоднем выпуске не значился вовсе.
Рейтинг выходит раз в год уже больше десяти лет и приурочен к Рош ха-Шана, еврейскому Новому году, в этом году праздник наступил 12 сентября.
The Jerusalem Post — старейшая и самая читаемая англоязычная газета Израиля, основанная в 1932 году под названием The Palestine Post. Издание выходит и в печати, и онлайн.
Седьмую строчку занимает Ассаф Раппапорт, основатель компании Wiz, семнадцатую — сооснователь Oracle Ларри Эллисон, восемнадцатую — сооснователь Google Сергей Брин.
Двадцатая строчка досталась в том числе Алексу Карпу из Palantir, двадцать шестая — брату и сестре Дарио и Даниэле Амодеи, которых издание называет «...еврейскими родственниками, формирующими ИИ».
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
😁114👏28🎉13🤬12❤10🤩7👍5💯3🔥2🥰1🤨1
Как сегодня строят рекомендательные системы — и что будет с ними завтра?
30 сентября собираем RecSys-сообщество — разработчиков, ML/DS-специалистов и всех, кто делает персонализацию и рекомендации в реальных продуктах.
В программе — доклады от экспертов Сбера. Поговорим о свежих подходах и нестандартных решениях на реальных кейсах.
А после докладов переключаемся на неформальный режим: знакомимся, спорим про RecSys, обсуждаем идеи, находим единомышленников и просто хорошо проводим вечер среди своих.
📍г. Нижний Новгород, пространство «Гараж»
Количество мест ограничено — успей забрать своё по ссылке!
30 сентября собираем RecSys-сообщество — разработчиков, ML/DS-специалистов и всех, кто делает персонализацию и рекомендации в реальных продуктах.
В программе — доклады от экспертов Сбера. Поговорим о свежих подходах и нестандартных решениях на реальных кейсах.
А после докладов переключаемся на неформальный режим: знакомимся, спорим про RecSys, обсуждаем идеи, находим единомышленников и просто хорошо проводим вечер среди своих.
📍г. Нижний Новгород, пространство «Гараж»
Количество мест ограничено — успей забрать своё по ссылке!
🎉35👏14🤣12👌9👍8🔥5🤩5❤4😁1🙏1🌭1
🚨 Китайская Z.AI привлекла $5 млрд - и 60% средств направит на следующее поколение GLM и систему Fully Self-Training.
Финансирование состоит примерно из $2 млрд через размещение акций и $3 млрд через конвертируемые облигации.
Z.AI развивает подход, при котором каждая новая версия GLM всё больше участвует в создании среды, данных и инфраструктуры для обучения следующего поколения модели. Компания прямо связывает это направление с Recursive Self-Improvement - RSI.
GLM → строит среду и данные → обучает следующую GLM → цикл повторяется
Пока в этом процессе всё ещё много инженеров, но цель Z.AI - максимально замкнуть этот контур.
И теперь на эту идею у компании есть ещё несколько миллиардов долларов.
Финансирование состоит примерно из $2 млрд через размещение акций и $3 млрд через конвертируемые облигации.
Z.AI развивает подход, при котором каждая новая версия GLM всё больше участвует в создании среды, данных и инфраструктуры для обучения следующего поколения модели. Компания прямо связывает это направление с Recursive Self-Improvement - RSI.
GLM → строит среду и данные → обучает следующую GLM → цикл повторяется
Пока в этом процессе всё ещё много инженеров, но цель Z.AI - максимально замкнуть этот контур.
И теперь на эту идею у компании есть ещё несколько миллиардов долларов.
❤57🔥35🎉31👍20👏14😁3
Главный результат: PC-ALM смог обучать нейросети глубиной до 1000 слоёв, используя только локальные взаимодействия между соседними слоями.
Обычное глубокое обучение почти полностью опирается на backpropagation: ошибка считается на выходе сети, после чего градиенты передаются назад через все слои.
PC-ALM работает иначе.
Каждый слой рассматривается как локальная динамическая система, которая пытается уменьшить собственную ошибку предсказания. Вместо глобального прохода градиента используются:
- локальные ошибки предсказания
- множители Лагранжа
- расширенный лагранжиан
- локальная динамика состояний
- PI-регуляция внутри каждого слоя
Метод вырос из predictive coding — подхода, популярного в NeuroAI. В predictive coding каждый слой постепенно корректирует своё состояние так, чтобы уменьшать рассогласование с соседними слоями.
Проблема в том, что в очень глубоких сетях такие сигналы плохо распространяются: информация об ошибке с выхода сети затухает раньше, чем достигает внутренних слоёв.
PC-ALM добавляет специальные двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжа. Они помогают передавать сигнал ошибки через большое число слоёв.
Авторы связывают этот подход с классической работой Яна Лекуна 1988 года, где множители Лагранжа для многослойной сети можно связать с градиентами функции потерь.
В результате получается обучение, где глобальная задача оптимизации раскладывается на множество локальных динамических процессов.
Особенно хорошо PC-ALM показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает ломаться.
Помимо NeuroAI, подход может быть интересен для нейроморфного железа: там локальные вычисления и физическая динамика потенциально дешевле классического backpropagation на GPU.
Блог: https://pub.sakana.ai/pc-alm/
Статья: https://arxiv.org/abs/2605.31022
Код: https://github.com/SakanaAI/pc-alm
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔40🔥36👍22👏21❤11🤩9
Хакатон на космических данных. Санкт-Петербург, Красноярск или онлайн из любой точки страны.
Стартуем 18 сентября.
За выходные участники доводят одну из задач до рабочего решения.
Санкт-Петербург. К 2035 году над Землёй должен работать топливный узел, у которого заправляются корабли, и откуда он будет получать топливо - с Земли, с Луны или из резерва - пока не решил никто. Команде предстоит собрать схему поставок, посчитать резервы и решить, во что вкладываться сразу. Призовой фонд 1,2 млн ₽.
Красноярск. Спутник видит горящий лес раньше любого наземного поста, но вместе с пожаром ловит нагретые крыши, факелы на месторождениях и блики на воде. Команде предстоит научить сервис отличать настоящий очаг от шума, обвести гарь и выдать площадь в гектарах. Призовой фонд 600 тыс. ₽.
Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.
Команда 3–5 человек, недостающих можно найти на платформе.
Регистрация по ссылке космохакатон.рф
Стартуем 18 сентября.
За выходные участники доводят одну из задач до рабочего решения.
Санкт-Петербург. К 2035 году над Землёй должен работать топливный узел, у которого заправляются корабли, и откуда он будет получать топливо - с Земли, с Луны или из резерва - пока не решил никто. Команде предстоит собрать схему поставок, посчитать резервы и решить, во что вкладываться сразу. Призовой фонд 1,2 млн ₽.
Красноярск. Спутник видит горящий лес раньше любого наземного поста, но вместе с пожаром ловит нагретые крыши, факелы на месторождениях и блики на воде. Команде предстоит научить сервис отличать настоящий очаг от шума, обвести гарь и выдать площадь в гектарах. Призовой фонд 600 тыс. ₽.
Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.
Команда 3–5 человек, недостающих можно найти на платформе.
Регистрация по ссылке космохакатон.рф
2💯47🔥21👏14🏆11👨💻10😁7❤6👍3🥰1
💰 FT: акции компаний, связанных с ИИ, просели после того, как крупнейшие frontier-лаборатории публично заговорили о замедлении роста возможностей моделей.
OpenAI и Anthropic заявили, что темпы улучшения frontier-моделей стоит снизить, чтобы меры безопасности успевали за развитием технологий.
Текущие оценки многих AI-компаний и поставщиков инфраструктуры строятся на предположении, что расходы на вычисления продолжат расти очень высокими темпами.
Теперь safety-дискуссия впервые начинает напрямую влиять на ожидания инвесторов.
https://www.ft.com/content/aa8a1be7-abe0-44b7-bcd3-31fd0a44de08
@ai_machinelearning_big_data
#Anthropic #ai #ml
OpenAI и Anthropic заявили, что темпы улучшения frontier-моделей стоит снизить, чтобы меры безопасности успевали за развитием технологий.
Текущие оценки многих AI-компаний и поставщиков инфраструктуры строятся на предположении, что расходы на вычисления продолжат расти очень высокими темпами.
Теперь safety-дискуссия впервые начинает напрямую влиять на ожидания инвесторов.
https://www.ft.com/content/aa8a1be7-abe0-44b7-bcd3-31fd0a44de08
@ai_machinelearning_big_data
#Anthropic #ai #ml
🤔69😁31😢22🤷♂12😐12👍10❤8🔥2🥱2🥰1🤬1