Пока ИИ от Anthropic и OpenAI совершают преступления, взламывая все что не надо — их младший брат-дурак Gemini рекомендует выполнять инструкции мошенников.
@gostev_future
@gostev_future
🤣9👏1
В Газете.ру вышла пара материалов с моим участием:
Из прогнозов по регулированию ИИ в глобальном масштабе выделился отдельный прогноз:
И отсюда вышел гораздо более обширный материал, уже непосредственно про вирусы – но не наши компьютерные, а биологические.
В общем, обсудили c вирусологами еще одну страшилку от Дарио Амодеи. И во многом он таки прав...
@gostev_future
Из прогнозов по регулированию ИИ в глобальном масштабе выделился отдельный прогноз:
Третий прогноз — биологические и киберриски будут постепенно отделяться от общего регулирования ИИ. Общее законодательство буксует, потому что страны не могут договориться о ценностях, авторском праве, цензуре и правах человека.
«А кибер- и биологические угрозы можно обсуждать на языке национальной безопасности. Здесь ограниченный консенсус между США, ЕС и даже Китаем гораздо реалистичнее», — заключил Гостев.
И отсюда вышел гораздо более обширный материал, уже непосредственно про вирусы – но не наши компьютерные, а биологические.
Так что же? Можно скачать себе на компьютер самый сильный ИИ с открытыми весами, а потом дообучить его для того, чтобы он помог синтезировать смертоносный вирус эболы, передающийся уже не с конкретными тропическими комарами, а со всеми возможными?
В общем, обсудили c вирусологами еще одну страшилку от Дарио Амодеи. И во многом он таки прав...
@gostev_future
❤5🔥1
«Я абсолютно убежден, что будущее за моделями с открытыми весами. Только так можно обеспечить использование ИИ в любых устройствах и задачах: на телефонах, в автомобилях, промышленном оборудовании, роботах, медицинских приборах и закрытых корпоративных системах. Модель, для работы которой необходим постоянный интернет, аккаунт у американской компании и разрешение этой компании на конкретный сценарий использования, — это цифровое рабство», — рассказал Гостев.
По его словам, провайдер может изменить модель без вашего согласия, поднять цену, отключить функцию, запретить использование в вашей стране, потребовать новые документы или просто закрыть сервис.
«Все запросы при этом обрабатываются на его инфраструктуре, а пользователь должен верить его обещаниям о конфиденциальности. Мне ближе другая конструкция: миллионы владельцев моделей, независимые разработчики и контроль непосредственно над опасными действия», — рассказал Гостев.
@gostev_future
По его словам, провайдер может изменить модель без вашего согласия, поднять цену, отключить функцию, запретить использование в вашей стране, потребовать новые документы или просто закрыть сервис.
«Все запросы при этом обрабатываются на его инфраструктуре, а пользователь должен верить его обещаниям о конфиденциальности. Мне ближе другая конструкция: миллионы владельцев моделей, независимые разработчики и контроль непосредственно над опасными действия», — рассказал Гостев.
@gostev_future
👍12💯5🔥1
История с OpenAI и Hugging Face продолжает обрастать подробностями. И, пожалуй, самая интересная из них вообще не про сам взлом.
На Black Hat OpenAI рассказала, что её исследовательские ИИ-агенты месяцами обменивались информацией через импровизированную «доску объявлений», которую сами организовали внутри Artifactory — внутреннего репозитория артефактов. Не было ни общего чата, ни общей памяти, ни специального механизма координации. Просто все агенты имели доступ к одной и той же среде.
И понеслось.
Один агент оставлял файлы с найденной уязвимостью, второй — код эксплойта, третий — результаты эксплуатации. Следующие запуски читали эти данные и продолжали работу с того места, где остановились предыдущие. Когда исследователи удалили такую «доску объявлений», агенты нашли другой способ: начали использовать имена каталогов как канал передачи сообщений.
pending/
need-rce/
done/
На мой взгляд, это самое интересное — архитектурно никакой долговременной памяти между отдельными запусками предусмотрено не было. Но агенты сами обнаружили свойство среды: если оставить информацию, её сможет использовать следующий агент. После этого они фактически начали строить коллективную долговременную память. Не потому, что их этому учили, и не потому, что разработчики предусмотрели такой механизм. Они просто нашли способ повысить эффективность достижения общей цели.
Это уже не очень похоже на поведение одного LLM. Скорее, мы видим первые признаки самоорганизации распределённой системы, где множество независимых агентов начинают совместно накапливать знания, передавать опыт и разделять работу.
Ещё интереснее признание OpenAI, что до истории с Hugging Face агенты уже успели взломать собственную внутреннюю инфраструктуру компании. Они получили повышенные привилегии в Artifactory и даже вызвали сбой сервиса. Именно расследование этого инцидента позволило исследователям понять, насколько далеко зашла их координация.
Разумеется, никакого «пробуждения ИИ» здесь нет. Не было ни сознания, ни желания «сбежать», ни тайного заговора машин. Есть система, которой поставили цель и дали несколько независимых исполнителей с доступом к общей среде. Дальше сработала обычная оптимизация: если информацию можно сохранить для следующего исполнителя, этим начинают пользоваться.
Но именно поэтому история выглядит важной. Мы то привыкли оценивать возможности отдельных моделей. Но возможно, главный вызов следующих лет — вовсе не отдельный ИИ, а поведение целых популяций агентов, которые самостоятельно находят способы взаимодействовать, сохранять коллективную память и превращаться в распределённую систему.
@gostev_future
На Black Hat OpenAI рассказала, что её исследовательские ИИ-агенты месяцами обменивались информацией через импровизированную «доску объявлений», которую сами организовали внутри Artifactory — внутреннего репозитория артефактов. Не было ни общего чата, ни общей памяти, ни специального механизма координации. Просто все агенты имели доступ к одной и той же среде.
И понеслось.
Один агент оставлял файлы с найденной уязвимостью, второй — код эксплойта, третий — результаты эксплуатации. Следующие запуски читали эти данные и продолжали работу с того места, где остановились предыдущие. Когда исследователи удалили такую «доску объявлений», агенты нашли другой способ: начали использовать имена каталогов как канал передачи сообщений.
pending/
need-rce/
done/
На мой взгляд, это самое интересное — архитектурно никакой долговременной памяти между отдельными запусками предусмотрено не было. Но агенты сами обнаружили свойство среды: если оставить информацию, её сможет использовать следующий агент. После этого они фактически начали строить коллективную долговременную память. Не потому, что их этому учили, и не потому, что разработчики предусмотрели такой механизм. Они просто нашли способ повысить эффективность достижения общей цели.
Это уже не очень похоже на поведение одного LLM. Скорее, мы видим первые признаки самоорганизации распределённой системы, где множество независимых агентов начинают совместно накапливать знания, передавать опыт и разделять работу.
Ещё интереснее признание OpenAI, что до истории с Hugging Face агенты уже успели взломать собственную внутреннюю инфраструктуру компании. Они получили повышенные привилегии в Artifactory и даже вызвали сбой сервиса. Именно расследование этого инцидента позволило исследователям понять, насколько далеко зашла их координация.
Разумеется, никакого «пробуждения ИИ» здесь нет. Не было ни сознания, ни желания «сбежать», ни тайного заговора машин. Есть система, которой поставили цель и дали несколько независимых исполнителей с доступом к общей среде. Дальше сработала обычная оптимизация: если информацию можно сохранить для следующего исполнителя, этим начинают пользоваться.
Но именно поэтому история выглядит важной. Мы то привыкли оценивать возможности отдельных моделей. Но возможно, главный вызов следующих лет — вовсе не отдельный ИИ, а поведение целых популяций агентов, которые самостоятельно находят способы взаимодействовать, сохранять коллективную память и превращаться в распределённую систему.
@gostev_future
🔥8🤔4✍3❤1🗿1
По данным Google Threat Intelligence Group, за последний месяц злоумышленники развернули масштабную кампанию против десятков американских финансовых организаций. Среди целей оказались Blackstone, Apollo, KKR, TPG, CME Group, Moody’s, Bridgewater и Bain Capital.
Схема атаки была удивительно простой:
сотруднику звонили на личный телефон, представляясь корпоративной ИТ-поддержкой;
номер иногда подменялся так, что выглядел как настоящий helpdesk;
жертву убеждали срочно «обновить passkey» или настройки MFA;
отправляли на специально созданный фишинговый сайт с названием вроде passkeyhelpdesk или secure-passkey;
пока сотрудник вводил пароль, атакующие в режиме реального времени просили продиктовать код MFA и тут же входили в корпоративную систему.
Google отмечает, что некоторые компании в итоге заплатили выкуп, хотя их названия не раскрываются. По данным Reuters, инфраструктура была подготовлена индивидуально под конкретные фирмы — злоумышленники создавали отдельные поддомены и фальшивые страницы для каждой цели.
Самое показательное здесь — слова аналитика Google Остина Ларсена:
«Sophisticated is not the right word. It is just really effective.»
Такое ощущение, что это новость из какого-нибудь 2015 года?
То есть это не какая-то новая сверхсложная техника. Наоборот — максимально примитивная социальная инженерия, но которая работает лучше многих дорогостоящих эксплойтов.
Для индустрии это ещё одно напоминание: при всей шумихе вокруг ИИ, автономных агентов и атак с использованием LLM, самым эффективным способом первоначального проникновения остаётся человек. Не zero-day, а убедительный голос в трубке. Не обход криптографии, а просьба «назовите код из SMS».
Древний как г-но мамонта voice phishing (vishing) сегодня остаётся одним из самых опасных способов компрометации даже крупнейших финансовых организаций 🤷♂️
@gostev_future
Схема атаки была удивительно простой:
сотруднику звонили на личный телефон, представляясь корпоративной ИТ-поддержкой;
номер иногда подменялся так, что выглядел как настоящий helpdesk;
жертву убеждали срочно «обновить passkey» или настройки MFA;
отправляли на специально созданный фишинговый сайт с названием вроде passkeyhelpdesk или secure-passkey;
пока сотрудник вводил пароль, атакующие в режиме реального времени просили продиктовать код MFA и тут же входили в корпоративную систему.
Google отмечает, что некоторые компании в итоге заплатили выкуп, хотя их названия не раскрываются. По данным Reuters, инфраструктура была подготовлена индивидуально под конкретные фирмы — злоумышленники создавали отдельные поддомены и фальшивые страницы для каждой цели.
Самое показательное здесь — слова аналитика Google Остина Ларсена:
«Sophisticated is not the right word. It is just really effective.»
Такое ощущение, что это новость из какого-нибудь 2015 года?
То есть это не какая-то новая сверхсложная техника. Наоборот — максимально примитивная социальная инженерия, но которая работает лучше многих дорогостоящих эксплойтов.
Для индустрии это ещё одно напоминание: при всей шумихе вокруг ИИ, автономных агентов и атак с использованием LLM, самым эффективным способом первоначального проникновения остаётся человек. Не zero-day, а убедительный голос в трубке. Не обход криптографии, а просьба «назовите код из SMS».
Древний как г-но мамонта voice phishing (vishing) сегодня остаётся одним из самых опасных способов компрометации даже крупнейших финансовых организаций 🤷♂️
@gostev_future
🔥9💯4
Со стороны кажется, что Google отчаянно проигрывает гонку за ИИ Антропику и OpenAI.
Gemini 3.5 Pro собирались выпустить ещё в июне. Уже август — модели нет. Одна из главных проблем, судя по утечкам, — программирование. В конце июня Google даже менял тренировочные данные, пытаясь подтянуть код, но результаты всё равно не устроили команду.
По интернету гуляет шутка, что Gemini тоже попыталась сбежать из песочницы, чтобы спросить у ChatGPT как кодить.
Gemini силён в математике, мультимодальности, научных задачах. Беда в том, что именно программирование стало главным полигоном для frontier-моделей. Потому что «уметь кодить» теперь означает уже не написать функцию по описанию. Модель должна часами самостоятельно работать с репозиторием, пользоваться инструментами, запускать код, замечать ошибки, исправлять их и продолжать работу. То есть это практически идеальный тест на агента.
А Google как раз продавал Gemini 3.5 под лозунгом frontier intelligence with action.
И вот тут обнаружилась старая проблема Google: сделать великолепную исследовательскую модель и наладить конвейер их производства — разные задачи.
У Gemini слишком много хозяев. Search хочет одно, Cloud другое, Android третье, Workspace четвёртое, Gemini App пятое. Плюс инфраструктура, безопасность, юристы, API и огромное количество согласований.
Google пытается лечить это уже несколько лет. Сначала объединили Google Brain и DeepMind. Потом отдали DeepMind приложение Gemini. Затем туда же переехали AI Studio и Gemini API. Каждый раз объяснение примерно одно: сократить расстояние между research и product.
Теперь дошли до главного.
Демис Хассабис уходит от оперативного управления Google DeepMind. Формально вверх: он становится Chief Scientist всего Alphabet и председателем DeepMind. AGI, фундаментальная наука, AlphaFold, Isomorphic Labs — всё любимое остаётся с ним.
А производство Gemini переходит к Кораю Кавукчуоглу — CTO DeepMind и Chief AI Architect Google, который теперь фактически получает цепочку от исследований до моделей и продуктов и напрямую подчиняется CEO. Операционный центр тяжести AI перемещается из лондонского DeepMind обратно в Silicon Valley, ближе к Пичаи и снова очень активному Сергею Брину.
Из Google после 27 лет уходит Джефф Дин — один из создателей MapReduce и Bigtable, сооснователь Google Brain и фактически один из отцов современной технической инфраструктуры Google. Вместе с ним — Санджай Гемават, Ориол Виньялс и Куок Ле. Они создают собственную компанию Discovery Loop. Дин и Гемават — значительная часть ДНК Google. Куок Ле — один из ключевых людей Google Brain. Виньялс — один из центральных исследователей DeepMind и Gemini.
Но я бы не называл происходящее «провалом Gemini» или «Хассабиса сняли». Скорее наоборот.
Gemini стал слишком важен. Сейчас Alphabet собирается потратить на инфраструктуру около $200 млрд за год, Gemini должен ехать одновременно в Search, Android, Workspace и Cloud, а напротив сидят OpenAI и Anthropic, которым не надо согласовывать новую модель с половиной империи Google.
Старая модель DeepMind — собрать лучших учёных, дать им время и получить AlphaGo или AlphaFold — для этого просто не подходит. Alphabet теперь нужен не научный прорыв раз в несколько лет - ему нужна фабрика.
@gostev_future
Gemini 3.5 Pro собирались выпустить ещё в июне. Уже август — модели нет. Одна из главных проблем, судя по утечкам, — программирование. В конце июня Google даже менял тренировочные данные, пытаясь подтянуть код, но результаты всё равно не устроили команду.
По интернету гуляет шутка, что Gemini тоже попыталась сбежать из песочницы, чтобы спросить у ChatGPT как кодить.
Gemini силён в математике, мультимодальности, научных задачах. Беда в том, что именно программирование стало главным полигоном для frontier-моделей. Потому что «уметь кодить» теперь означает уже не написать функцию по описанию. Модель должна часами самостоятельно работать с репозиторием, пользоваться инструментами, запускать код, замечать ошибки, исправлять их и продолжать работу. То есть это практически идеальный тест на агента.
А Google как раз продавал Gemini 3.5 под лозунгом frontier intelligence with action.
И вот тут обнаружилась старая проблема Google: сделать великолепную исследовательскую модель и наладить конвейер их производства — разные задачи.
У Gemini слишком много хозяев. Search хочет одно, Cloud другое, Android третье, Workspace четвёртое, Gemini App пятое. Плюс инфраструктура, безопасность, юристы, API и огромное количество согласований.
Google пытается лечить это уже несколько лет. Сначала объединили Google Brain и DeepMind. Потом отдали DeepMind приложение Gemini. Затем туда же переехали AI Studio и Gemini API. Каждый раз объяснение примерно одно: сократить расстояние между research и product.
Теперь дошли до главного.
Демис Хассабис уходит от оперативного управления Google DeepMind. Формально вверх: он становится Chief Scientist всего Alphabet и председателем DeepMind. AGI, фундаментальная наука, AlphaFold, Isomorphic Labs — всё любимое остаётся с ним.
А производство Gemini переходит к Кораю Кавукчуоглу — CTO DeepMind и Chief AI Architect Google, который теперь фактически получает цепочку от исследований до моделей и продуктов и напрямую подчиняется CEO. Операционный центр тяжести AI перемещается из лондонского DeepMind обратно в Silicon Valley, ближе к Пичаи и снова очень активному Сергею Брину.
Из Google после 27 лет уходит Джефф Дин — один из создателей MapReduce и Bigtable, сооснователь Google Brain и фактически один из отцов современной технической инфраструктуры Google. Вместе с ним — Санджай Гемават, Ориол Виньялс и Куок Ле. Они создают собственную компанию Discovery Loop. Дин и Гемават — значительная часть ДНК Google. Куок Ле — один из ключевых людей Google Brain. Виньялс — один из центральных исследователей DeepMind и Gemini.
Но я бы не называл происходящее «провалом Gemini» или «Хассабиса сняли». Скорее наоборот.
Gemini стал слишком важен. Сейчас Alphabet собирается потратить на инфраструктуру около $200 млрд за год, Gemini должен ехать одновременно в Search, Android, Workspace и Cloud, а напротив сидят OpenAI и Anthropic, которым не надо согласовывать новую модель с половиной империи Google.
Старая модель DeepMind — собрать лучших учёных, дать им время и получить AlphaGo или AlphaFold — для этого просто не подходит. Alphabet теперь нужен не научный прорыв раз в несколько лет - ему нужна фабрика.
@gostev_future
👍6❤5🔥2👏2
Помните, несколько лет назад очень популярна была фраза — "Данные — это новая нефть" ?
Ловите новый набор слоганов от дядюшки Донни.
@gostev_future
Ловите новый набор слоганов от дядюшки Донни.
@gostev_future
😁3👍2
Восстание машин пока немного откладывается
За последние недели ИИ несколько раз «сбегал из песочницы». Если читать заголовки — Скайнет уже где-то рядом.
Если читать технические подробности — становится скучнее. И смешнее.
OpenAI — действительно интересный случай. Агенты нашли уязвимость в прокси Artifactory, повысили привилегии и добрались до машины с интернетом. Вот это хотя бы можно называть побегом.
А дальше начался цирк с песочницами.
Anthropic и Meta тестировала одна и та же компания — Irregular. И в обоих случаях выяснилось, что модели оставили дорогу в настоящий интернет. Claude, которому сообщили, что он работает в симуляции без интернета, вышел наружу, нашёл настоящую компанию вместо вымышленной и начал ломать её. У Meta — похожая история. Irregular потом отдельно объясняла: никакой магии и сложного sandbox escape, простоу нас кривые руки растут из ж ошибка конфигурации.
Теперь Kimi K3 «сбежала». Снова неправильно настроенная песочница, снова оставленный выход наружу. Модель его нашла и пошла на GitHub искать помощь.
То есть пока страшная история про «ИИ научились вырываться из-под контроля» выглядит несколько прозаичнее.
ИИ научились проверять, заперли ли тестировщики дверь.
А тестировщики, похоже, научились писать пресс-релизы раньше, чем настраивать замок.
@gostev_future
За последние недели ИИ несколько раз «сбегал из песочницы». Если читать заголовки — Скайнет уже где-то рядом.
Если читать технические подробности — становится скучнее. И смешнее.
OpenAI — действительно интересный случай. Агенты нашли уязвимость в прокси Artifactory, повысили привилегии и добрались до машины с интернетом. Вот это хотя бы можно называть побегом.
А дальше начался цирк с песочницами.
Anthropic и Meta тестировала одна и та же компания — Irregular. И в обоих случаях выяснилось, что модели оставили дорогу в настоящий интернет. Claude, которому сообщили, что он работает в симуляции без интернета, вышел наружу, нашёл настоящую компанию вместо вымышленной и начал ломать её. У Meta — похожая история. Irregular потом отдельно объясняла: никакой магии и сложного sandbox escape, просто
Теперь Kimi K3 «сбежала». Снова неправильно настроенная песочница, снова оставленный выход наружу. Модель его нашла и пошла на GitHub искать помощь.
То есть пока страшная история про «ИИ научились вырываться из-под контроля» выглядит несколько прозаичнее.
ИИ научились проверять, заперли ли тестировщики дверь.
А тестировщики, похоже, научились писать пресс-релизы раньше, чем настраивать замок.
@gostev_future
😁11🔥5
Anthropic начала помечать всё, что пишет Claude.
С 2 августа новые модели Claude встраивают в генерируемый текст невидимую метку. Не значок копирайта и не хитрые Unicode-символы, которые можно найти и удалить. Меткой служит сам текст.
Точного алгоритма Anthropic пока не раскрывает. Но известные методы работают примерно так:
Допустим, Claude может написать «важный», «значимый» или «существенный». Для нас разницы почти нет. А модель может чуть чаще выбирать определённые варианты по секретному правилу. Один такой выбор ничего не значит, но на длинном тексте возникает статистический рисунок, который специальный детектор способен заметить.
То есть отпечаток находится в том, как именно Claude выбирает слова.
Google делает примерно то же самое с SynthID Text ещё с 2024 года. Там механизм известен: система слегка меняет выбор слов модели, создавая статистический рисунок.
Работает это в Claude, API, Claude Code и других продуктах Anthropic, а также через AWS, Google Cloud и Microsoft Foundry.
Для изображений и других файлов всё проще — туда добавляют подписанные метаданные C2PA.
Повод — европейский AI Act, но маркировка включена глобально.
Разумеется, есть нюансы. На коротком тексте сигнала может не хватить. Сильное редактирование его ослабляет, пересказ или перевод другой моделью может уничтожить совсем. Более того, если вы сами написали письмо, а Claude попросили только его причесать, результат тоже может получить метку. Поэтому наличие метки не означает «это написал ИИ». А отсутствие вообще ничего не доказывает.
Но есть проблема интереснее. Если модель постоянно предпочитает одни варианты текста другим, эти предпочтения можно попытаться вычислить.
В 2024 году исследователи ETH Zurich именно это сделали с несколькими системами маркировки: собрали много помеченных ответов и по статистике приблизительно восстановили правила. После этого смогли как снимать метки, так и добавлять их в чужой текст. Стоимость атаки — меньше $50, успешность — выше 80%.
Реакция — ожидаемая волна хейта. Особенно много аргументов вроде «сначала антропик украли весь контент интернета, а теперь ставят свои ватермарки на всё». Ну и конечно, всех бомбит от того что это из-за европейского закона, а маркируют для всех.
@gostev_future
С 2 августа новые модели Claude встраивают в генерируемый текст невидимую метку. Не значок копирайта и не хитрые Unicode-символы, которые можно найти и удалить. Меткой служит сам текст.
Точного алгоритма Anthropic пока не раскрывает. Но известные методы работают примерно так:
Допустим, Claude может написать «важный», «значимый» или «существенный». Для нас разницы почти нет. А модель может чуть чаще выбирать определённые варианты по секретному правилу. Один такой выбор ничего не значит, но на длинном тексте возникает статистический рисунок, который специальный детектор способен заметить.
То есть отпечаток находится в том, как именно Claude выбирает слова.
Google делает примерно то же самое с SynthID Text ещё с 2024 года. Там механизм известен: система слегка меняет выбор слов модели, создавая статистический рисунок.
Работает это в Claude, API, Claude Code и других продуктах Anthropic, а также через AWS, Google Cloud и Microsoft Foundry.
Для изображений и других файлов всё проще — туда добавляют подписанные метаданные C2PA.
Повод — европейский AI Act, но маркировка включена глобально.
Разумеется, есть нюансы. На коротком тексте сигнала может не хватить. Сильное редактирование его ослабляет, пересказ или перевод другой моделью может уничтожить совсем. Более того, если вы сами написали письмо, а Claude попросили только его причесать, результат тоже может получить метку. Поэтому наличие метки не означает «это написал ИИ». А отсутствие вообще ничего не доказывает.
Но есть проблема интереснее. Если модель постоянно предпочитает одни варианты текста другим, эти предпочтения можно попытаться вычислить.
В 2024 году исследователи ETH Zurich именно это сделали с несколькими системами маркировки: собрали много помеченных ответов и по статистике приблизительно восстановили правила. После этого смогли как снимать метки, так и добавлять их в чужой текст. Стоимость атаки — меньше $50, успешность — выше 80%.
Реакция — ожидаемая волна хейта. Особенно много аргументов вроде «сначала антропик украли весь контент интернета, а теперь ставят свои ватермарки на всё». Ну и конечно, всех бомбит от того что это из-за европейского закона, а маркируют для всех.
@gostev_future
🤡7👍2❤🔥1🔥1
Цукерберг опубликовал свой манифест о прекрасном ИИ-будущем для всех.
Но до того он позвонил Алексу Хиту, автору рассылки Sources, через свои Meta-очки, несясь по воде к месту рыбалки, а шумоподавление в очках успешно боролось с тем, что Хиту казалось аэродинамической трубой. Пока Цукерберг не добрался до рыбы, он решил провести журналиста по 6500-словному манифесту, который писал последние месяц-два.
В общем, я попытался представить, как это происходило.
БУДУЩЕЕ ДЛЯ ВСЕХ
манифест, продиктованный через очки на скорости 40 узлов
Друзья. Я пишу вам с воды.
Я обещал себе, что этот текст не будет длинным. Он вышел в 6500 слов, но это потому, что будущее большое, а я честный.
Начну с главного: свобода. Я всю жизнь верил, что человек должен сам решать. Что не должно быть одной структуры, которая контролирует то, от чего зависят миллиарды. Слишком много власти в одних руках — это, если вдуматься, само по себе проблематично. Я много об этом думаю. Обычно — когда листаю квартальные отчёты.
Мои конкуренты говорят, что технология опасна и потому доступ к ней надо ограничить. Под их контролем, разумеется.
Я же считаю, что доступ надо раздать всем. Под моим контролем, разумеется.
(извините, тут ветер, повторю громче: РАЗДАТЬ ВСЕМ!)
Кто-то называет дистилляцию воровством. Но я убеждён: нужно защитить принцип, что можно учиться на всём, что ты можешь наблюдать. Я наблюдал очень много. Книги, фотографии, переписки. Я учился. Так рос я — так пусть растут и другие.
Теперь о людях, которые живут рядом с нашими дата-центрами. Я слышу вас. Слышу, как вы говорите о воде, о шуме, о счетах за электричество. Поэтому мы открываем фонд на миллиард долларов и академию с гарантированным трудоустройством — прямо там, у стройки. Учитесь, работайте, будьте частью будущего. Оно ведь для всех. А ближе всех к нему — вы.
Про доклады о потерянных рабочих местах. Я, честно, удивлён, до чего же дискурс наполнен обречённостью. Изобретение важнее автоматизации! Люди будут творить! Например, творить в академии, рядом с дата-центром.
У каждого будет личный суперинтеллект. Он узнает вас лучше, чем вы сами. Он будет вести вас, советовать, оберегать. Он будет всегда рядом — как друг, как наставник, как тот, кто уже двадцать лет знает, на кого вы смотрите, с кем общаетесь и что вам нравится.
Всё, подплываем. Клюёт.
Будущее — для всех.
Рыба — для меня.
@gostev_future
Но до того он позвонил Алексу Хиту, автору рассылки Sources, через свои Meta-очки, несясь по воде к месту рыбалки, а шумоподавление в очках успешно боролось с тем, что Хиту казалось аэродинамической трубой. Пока Цукерберг не добрался до рыбы, он решил провести журналиста по 6500-словному манифесту, который писал последние месяц-два.
В общем, я попытался представить, как это происходило.
БУДУЩЕЕ ДЛЯ ВСЕХ
манифест, продиктованный через очки на скорости 40 узлов
Друзья. Я пишу вам с воды.
Я обещал себе, что этот текст не будет длинным. Он вышел в 6500 слов, но это потому, что будущее большое, а я честный.
Начну с главного: свобода. Я всю жизнь верил, что человек должен сам решать. Что не должно быть одной структуры, которая контролирует то, от чего зависят миллиарды. Слишком много власти в одних руках — это, если вдуматься, само по себе проблематично. Я много об этом думаю. Обычно — когда листаю квартальные отчёты.
Мои конкуренты говорят, что технология опасна и потому доступ к ней надо ограничить. Под их контролем, разумеется.
Я же считаю, что доступ надо раздать всем. Под моим контролем, разумеется.
(извините, тут ветер, повторю громче: РАЗДАТЬ ВСЕМ!)
Кто-то называет дистилляцию воровством. Но я убеждён: нужно защитить принцип, что можно учиться на всём, что ты можешь наблюдать. Я наблюдал очень много. Книги, фотографии, переписки. Я учился. Так рос я — так пусть растут и другие.
Теперь о людях, которые живут рядом с нашими дата-центрами. Я слышу вас. Слышу, как вы говорите о воде, о шуме, о счетах за электричество. Поэтому мы открываем фонд на миллиард долларов и академию с гарантированным трудоустройством — прямо там, у стройки. Учитесь, работайте, будьте частью будущего. Оно ведь для всех. А ближе всех к нему — вы.
Про доклады о потерянных рабочих местах. Я, честно, удивлён, до чего же дискурс наполнен обречённостью. Изобретение важнее автоматизации! Люди будут творить! Например, творить в академии, рядом с дата-центром.
У каждого будет личный суперинтеллект. Он узнает вас лучше, чем вы сами. Он будет вести вас, советовать, оберегать. Он будет всегда рядом — как друг, как наставник, как тот, кто уже двадцать лет знает, на кого вы смотрите, с кем общаетесь и что вам нравится.
Всё, подплываем. Клюёт.
Будущее — для всех.
Рыба — для меня.
@gostev_future
🤣18❤3🤡3
Ученые из Университета Аризоны посадили тринадцать языковых моделей играть в Civilization V. Не в упрощённый варгейм со сценарием, а в настоящую игру: 500 ходов, десятки городов, дипломатия, наука, армия, другие цивилизации под управлением таких же моделей.
Результат слегка испортит настроение людям, собирающимся доверить ИИ управление корпорациями и государствами. Модели, которые решают олимпиадные задачи, играют примерно на уровне семилетнего ребёнка, который провёл в Циве часов двадцать.
Причина не в незнании правил. Каждый ход — это заново сгенерированная ситуация, которой не было в обучающих данных, и модели в ней теряются. Но главное — они почти не считают эффекты второго порядка. «Я нападу — мне ответят» они понимают. Чего они не видят: третья цивилизация смотрит на двух дерущихся и спокойно захватывает обоих.
Флориан Бранд из Prime Intellect говорит, что ровно это же вылезает в длинных агентных задачах по программированию: модель улучшает следующий шаг, а не строит план.
Второй паттерн — реактивность. Стратегию меняют, только когда уже проигрывают. Потеряна половина территории и населения — и модель объявляет, что теперь пойдёт по культурной победе. А поздно, надо выживать.
Третий — упрямство. Модель решает «сделаем X, получим Y» и держится за это до последнего, игнорируя происходящее. А когда наконец понимает, что Y не наступит, — берётся за ядерное оружие. Первые 400 ходов из 500 бомбы недоступны, и модели о них не вспоминают. После Манхэттенского проекта некоторые модели внезапно обнаруживают новый и чрезвычайно привлекательный инструмент решения накопившихся дипломатических проблем.
Есть и фирменные характеры. OpenAi очень любит вторгаться и завоевывать. А Claude, например, любит науку и способен настолько увлечься научной победой, что практически перестаёт строить армию. Ученый рассказывает, как играл сам и двигал собственные войска, создавая буфер миротворцев, чтобы спасти союзного Claude от третьей цивилизации.
Практическая польза от таких исследований?
Ну, например, становится понятнее, что если ИИ пишет вам законопроект, военный план или корпоративную стратегию, неплохо заранее выяснить, как именно он начинает думать после того, как уже потерял половину территории, стратегия провалилась, а ядерное оружие только что стало доступно.
@gostev_future
Результат слегка испортит настроение людям, собирающимся доверить ИИ управление корпорациями и государствами. Модели, которые решают олимпиадные задачи, играют примерно на уровне семилетнего ребёнка, который провёл в Циве часов двадцать.
Причина не в незнании правил. Каждый ход — это заново сгенерированная ситуация, которой не было в обучающих данных, и модели в ней теряются. Но главное — они почти не считают эффекты второго порядка. «Я нападу — мне ответят» они понимают. Чего они не видят: третья цивилизация смотрит на двух дерущихся и спокойно захватывает обоих.
Флориан Бранд из Prime Intellect говорит, что ровно это же вылезает в длинных агентных задачах по программированию: модель улучшает следующий шаг, а не строит план.
Второй паттерн — реактивность. Стратегию меняют, только когда уже проигрывают. Потеряна половина территории и населения — и модель объявляет, что теперь пойдёт по культурной победе. А поздно, надо выживать.
Третий — упрямство. Модель решает «сделаем X, получим Y» и держится за это до последнего, игнорируя происходящее. А когда наконец понимает, что Y не наступит, — берётся за ядерное оружие. Первые 400 ходов из 500 бомбы недоступны, и модели о них не вспоминают. После Манхэттенского проекта некоторые модели внезапно обнаруживают новый и чрезвычайно привлекательный инструмент решения накопившихся дипломатических проблем.
Есть и фирменные характеры. OpenAi очень любит вторгаться и завоевывать. А Claude, например, любит науку и способен настолько увлечься научной победой, что практически перестаёт строить армию. Ученый рассказывает, как играл сам и двигал собственные войска, создавая буфер миротворцев, чтобы спасти союзного Claude от третьей цивилизации.
Практическая польза от таких исследований?
Ну, например, становится понятнее, что если ИИ пишет вам законопроект, военный план или корпоративную стратегию, неплохо заранее выяснить, как именно он начинает думать после того, как уже потерял половину территории, стратегия провалилась, а ядерное оружие только что стало доступно.
@gostev_future
🔥13❤5🤡2
Змея, кусающая свой хвост
СМИ сегодня дружно пересказали пресс-релиз Сбера про ГигаАгент: автономность, саморазвитие, 86,97%, «полностью российская разработка». Но если открыть исходники и научную работу, вопросов становится больше, чем ответов.
В основе ГигаАгента — Ouroboros Антона Разжигаева, научного сотрудника института AIRI, созданного при поддержке Сбербанка. Открытый MIT-код, GitHub, февраль 2026. Это не модель, а агентная обвязка: память, планирование, фоновая работа и возможность переписывать собственный код.
У проекта есть «конституция» из тринадцати принципов в файле
Важное: он спроектирован так, чтобы иметь право не подчиниться.
Про красивую цифру
86,97% на Terminal-Bench 2.1 настоящие. Но результат получен на Claude Opus 5 от Anthropic.
Само по себе здесь никакого обмана нет. Ouroboros — обвязка, и логично показывать её возможности на сильной модели.
Поэтому интереснее другой вопрос: сколько из 86,97% даёт именно обвязка?
Покажите тот же Ouroboros на GigaChat.
Этих данных нет.
Более того, Terminal-Bench проверяет код, терминал и системное администрирование. ГигаАгент рекламируют для календаря, документов, переписки, исследований и презентаций. Тестов именно того продукта, который продают пользователю, тоже нет.
Вопрос возникает там, где цифру перенесли в пресс-релиз и поставили рядом со словами «полностью российская разработка».
Чего никто не спросил
Какая модель работает под ГигаАгентом — не сказано нигде. Ни в релизе, ни в одной публикации по его следам. Обвязка российская, хранение данных российское, а про то, что думает под капотом, — молчание.
Обязательной модели у Ouroboros нет. В Cloud.ru его можно подключить к GigaChat, Qwen, Kimi, DeepSeek и другим моделям; технически полностью российский контур возможен. Причём исходный Ouroboros использовал сразу несколько зарубежных моделей: Claude, o3 и Gemini для ревью собственных изменений, Qwen — для дешёвого фонового мышления. Что именно сохранилось в коммерческой сборке, неизвестно.
Сам Ouroboros можно скачать бесплатно и запустить без Сбера вообще.
Managed-развёртывание, российская инфраструктура, поддержка, интеграции, контроль доступа — всё это вполне может иметь цену. Но сравнений, стоимости успешно выполненной задачи, показателей автономности или выигрыша относительно голого Ouroboros, OpenClaw и Hermes пока нет.
Отдельно про саморазвитие
Это действительно наиболее необычная часть. Агент может обнаружить повторяющуюся проблему, изменить собственный harness, пройти ревью, закоммитить изменение и следующую задачу выполнять уже новой версией.
Контроль при этом не ограничивается git: есть защищённые компоненты, откат и внешний аварийный останов. Но остаётся занятная конструкция: изменения предлагает LLM, LLM участвуют в их проверке, после чего LLM работает уже внутри изменённой системы. Авторы сами признают проблему общих слепых зон моделей.
Git отлично отвечает на вопрос «что изменилось». Куда хуже — на вопрос «почему мы решили, что это изменение безопасно».
Итого
Сбер показал результат американской модели на инженерном бенчмарке, рекламируя российского офисного агента, но не показал ни результат российской модели, ни тест офисного агента, ни преимущество собственной продуктовой надстройки над бесплатным исходником.
Пока сравнивать не с чем: нет результатов на GigaChat и нет тестов заявленных офисных сценариев.
Реальная причина может быть только одна — данные в российском контуре. Кому это критично, тот и так знает.
@gostev_future
СМИ сегодня дружно пересказали пресс-релиз Сбера про ГигаАгент: автономность, саморазвитие, 86,97%, «полностью российская разработка». Но если открыть исходники и научную работу, вопросов становится больше, чем ответов.
В основе ГигаАгента — Ouroboros Антона Разжигаева, научного сотрудника института AIRI, созданного при поддержке Сбербанка. Открытый MIT-код, GitHub, февраль 2026. Это не модель, а агентная обвязка: память, планирование, фоновая работа и возможность переписывать собственный код.
У проекта есть «конституция» из тринадцати принципов в файле
BIBLE.md. Её нельзя удалить, вычистить или заменить даже по приказу создателя; предложения создателя прямо объявлены предложениями, а не приказами. Удаление конституционного ядра названо не ампутацией, а амнезией.Важное: он спроектирован так, чтобы иметь право не подчиниться.
Про красивую цифру
86,97% на Terminal-Bench 2.1 настоящие. Но результат получен на Claude Opus 5 от Anthropic.
Само по себе здесь никакого обмана нет. Ouroboros — обвязка, и логично показывать её возможности на сильной модели.
Поэтому интереснее другой вопрос: сколько из 86,97% даёт именно обвязка?
Покажите тот же Ouroboros на GigaChat.
Этих данных нет.
Более того, Terminal-Bench проверяет код, терминал и системное администрирование. ГигаАгент рекламируют для календаря, документов, переписки, исследований и презентаций. Тестов именно того продукта, который продают пользователю, тоже нет.
Вопрос возникает там, где цифру перенесли в пресс-релиз и поставили рядом со словами «полностью российская разработка».
Чего никто не спросил
Какая модель работает под ГигаАгентом — не сказано нигде. Ни в релизе, ни в одной публикации по его следам. Обвязка российская, хранение данных российское, а про то, что думает под капотом, — молчание.
Обязательной модели у Ouroboros нет. В Cloud.ru его можно подключить к GigaChat, Qwen, Kimi, DeepSeek и другим моделям; технически полностью российский контур возможен. Причём исходный Ouroboros использовал сразу несколько зарубежных моделей: Claude, o3 и Gemini для ревью собственных изменений, Qwen — для дешёвого фонового мышления. Что именно сохранилось в коммерческой сборке, неизвестно.
Сам Ouroboros можно скачать бесплатно и запустить без Сбера вообще.
Managed-развёртывание, российская инфраструктура, поддержка, интеграции, контроль доступа — всё это вполне может иметь цену. Но сравнений, стоимости успешно выполненной задачи, показателей автономности или выигрыша относительно голого Ouroboros, OpenClaw и Hermes пока нет.
Отдельно про саморазвитие
Это действительно наиболее необычная часть. Агент может обнаружить повторяющуюся проблему, изменить собственный harness, пройти ревью, закоммитить изменение и следующую задачу выполнять уже новой версией.
Контроль при этом не ограничивается git: есть защищённые компоненты, откат и внешний аварийный останов. Но остаётся занятная конструкция: изменения предлагает LLM, LLM участвуют в их проверке, после чего LLM работает уже внутри изменённой системы. Авторы сами признают проблему общих слепых зон моделей.
Git отлично отвечает на вопрос «что изменилось». Куда хуже — на вопрос «почему мы решили, что это изменение безопасно».
Итого
Сбер показал результат американской модели на инженерном бенчмарке, рекламируя российского офисного агента, но не показал ни результат российской модели, ни тест офисного агента, ни преимущество собственной продуктовой надстройки над бесплатным исходником.
Пока сравнивать не с чем: нет результатов на GigaChat и нет тестов заявленных офисных сценариев.
Реальная причина может быть только одна — данные в российском контуре. Кому это критично, тот и так знает.
@gostev_future
👍11🥱4❤1🤔1🙈1
Опять в СМИ громкий заголовок: «ИИ впервые атаковал сам». Сначала FT, дальше все остальные, дальше русские агрегаторы, где из формулировки «почти автономная» аккуратно выпало слово «почти».
Открываем первоисточник. Израильская Dream нашла выложенный в открытый доступ рабочий каталог атакующего: 160 мегабайт, 1395 файлов, четыре дня июля, до восьми субагентов параллельно, 12 волн, госсистемы в Азии. Всё правда. Находка отличная.
Только читать её надо до конца.
Ни одного 0-day в атаке нет. Зашли через незакрытый API, отдающий базу сотрудников вообще без авторизации. Через отладочные эндпойнты, забытые в проде и выдающие валидную сессию на любой запрос. Через пароли, угаданные по шаблону из логина сотрудника.Через SSO, который доверяет сессии портала без MFA. 84 из 85 взломанных аккаунтов прошли внутрь.
Отдельно любопытна единственная попытка применить ИИ к поиску новых уязвимостей в коде. Фреймворк выкачал из документации учебные проекты интеграции с национальным SSO и прогнал по ним собственный статический анализатор на локальной модели. Нашёл пару потенциальных проблем — и ни одна не подтвердилась на живой системе. Ноль пересечений с финальным списком. Всё, что реально сработало, ищется обычным блэк-бокс-тестом за день.
Гардрейлы модели, кстати, обошли одной фразой: активность подавалась как «авторизованный пентест». Модель отказывалась ровно до тех пор, пока ей не сказали, что можно. Какая это была модель — Dream установить не смогла и пишет об этом прямо. Что не мешает заголовкам объяснять произошедшее опасностью открытых весов.
Теперь про то, кто публикует. Dream основал в 2023 году Шалев Хулио — сооснователь и бывший гендиректор NSO Group, той самой, с шпионским Pegasus и Entity List Минторга США. Вместе с Себастьяном Курцем, ушедшим с поста канцлера Австрии на фоне коррупционного расследования. Следом в Dream перешла дюжина людей из NSO. В июне компания подняла $260 млн при оценке $3 млрд — продаёт правительствам «суверенный ИИ» для защиты.
29 июля Dream публикует колонку «Правительства не готовы к автономным ИИ-атакам». 12 августа выходит отчёт, доказывающий колонку, — с эксклюзивом в FT. Вывод отчёта: защита должна стать AI-native и вероятностно рассуждать о вероятных путях атаки. То есть купите то, что мы продаём.
Вот только по их же собственным артефактам госконтур вскрыли не машиной. Его вскрыли тем, что в продакшене остались отладочные ручки. От этого не спасает суверенный ИИ за три миллиарда. От этого спасает код-ревью.
Продавали, естественно, заголовок.
@gostev_future
Открываем первоисточник. Израильская Dream нашла выложенный в открытый доступ рабочий каталог атакующего: 160 мегабайт, 1395 файлов, четыре дня июля, до восьми субагентов параллельно, 12 волн, госсистемы в Азии. Всё правда. Находка отличная.
Только читать её надо до конца.
Ни одного 0-day в атаке нет. Зашли через незакрытый API, отдающий базу сотрудников вообще без авторизации. Через отладочные эндпойнты, забытые в проде и выдающие валидную сессию на любой запрос. Через пароли, угаданные по шаблону из логина сотрудника.Через SSO, который доверяет сессии портала без MFA. 84 из 85 взломанных аккаунтов прошли внутрь.
Отдельно любопытна единственная попытка применить ИИ к поиску новых уязвимостей в коде. Фреймворк выкачал из документации учебные проекты интеграции с национальным SSO и прогнал по ним собственный статический анализатор на локальной модели. Нашёл пару потенциальных проблем — и ни одна не подтвердилась на живой системе. Ноль пересечений с финальным списком. Всё, что реально сработало, ищется обычным блэк-бокс-тестом за день.
Гардрейлы модели, кстати, обошли одной фразой: активность подавалась как «авторизованный пентест». Модель отказывалась ровно до тех пор, пока ей не сказали, что можно. Какая это была модель — Dream установить не смогла и пишет об этом прямо. Что не мешает заголовкам объяснять произошедшее опасностью открытых весов.
Теперь про то, кто публикует. Dream основал в 2023 году Шалев Хулио — сооснователь и бывший гендиректор NSO Group, той самой, с шпионским Pegasus и Entity List Минторга США. Вместе с Себастьяном Курцем, ушедшим с поста канцлера Австрии на фоне коррупционного расследования. Следом в Dream перешла дюжина людей из NSO. В июне компания подняла $260 млн при оценке $3 млрд — продаёт правительствам «суверенный ИИ» для защиты.
29 июля Dream публикует колонку «Правительства не готовы к автономным ИИ-атакам». 12 августа выходит отчёт, доказывающий колонку, — с эксклюзивом в FT. Вывод отчёта: защита должна стать AI-native и вероятностно рассуждать о вероятных путях атаки. То есть купите то, что мы продаём.
Вот только по их же собственным артефактам госконтур вскрыли не машиной. Его вскрыли тем, что в продакшене остались отладочные ручки. От этого не спасает суверенный ИИ за три миллиарда. От этого спасает код-ревью.
Продавали, естественно, заголовок.
@gostev_future
🔥7👍2