Forwarded from Сиолошная
На неделе вышла Kimi K3, это большая модель и большое событие. По замерам создателей модели в некоторых бенчмарках обходит даже Fable 5 и GPT-5.6, а модели чуть старше (Opus 4.8 и GPT-5.5 👴 ) вообще отстают. Так выходит и по AA Intelligence Index (набору из примерно 10 бенчмарков, часть из которых собственного производства и совсем свежие), а на арене, где голосуют люди, во фронтенде Kimi оторвалась от Fable прям заметно и впервые опенсурсная модель возглавила рейтинг.
Kimi K3 следует логике Anthropic и увеличивает модель до 2.8 триллиона параметров (до этого крупнейшие открытые модели были около 1.6T, почти в два раза меньше). Сами веса, а также детальный технический отчёт, выложат до конца месяца. Пока у нас есть лишь общие сведения об архитектуре — используется собственный вариант оптимизированного механизма внимания Kimi Delta Attention (KDA), а также Attention Residuals, который мб разберу позже. На удивление нет mHC (хотя AttnRes частично перекликается с ним), как у DeepSeek.
По ощущениям, модель очень заточили на фронтенд/веб-разработку и особенно на 3D: именно примеры этого мелькают в ленте твиттера и обильно представлены на сайте. Рекомендую полистать блог, действительно впечатляет.
По цене модель как Claude Sonnet: $3/$15. Но модель очень разговорчивая, поэтому на практике может стоить дорого: на уже упомянутом AA Intelligence Index прогон на всех бенчмарках стоит столько же, сколько GPT-5.5 xhigh и в два раза дроже GPT-5.6 Sol High😳 (но дешевле Opus и Sonnet).
Правда OpenRouter показывает скорость 23 токена в секунду в официальном API, то есть ощутимо медленнее проприетарных моделей. Возможно, ситуация и с ценой, и со скоростью улучшится, когда выпустят веса — придут провайдеры, а заодно покажут, сколько стоит разворачивать такую модель.
Мысли по поводу того, правда это Fable/5.6 или нет, напишу позже (TLDR: нет).
Kimi K3 следует логике Anthropic и увеличивает модель до 2.8 триллиона параметров (до этого крупнейшие открытые модели были около 1.6T, почти в два раза меньше). Сами веса, а также детальный технический отчёт, выложат до конца месяца. Пока у нас есть лишь общие сведения об архитектуре — используется собственный вариант оптимизированного механизма внимания Kimi Delta Attention (KDA), а также Attention Residuals, который мб разберу позже. На удивление нет mHC (хотя AttnRes частично перекликается с ним), как у DeepSeek.
По ощущениям, модель очень заточили на фронтенд/веб-разработку и особенно на 3D: именно примеры этого мелькают в ленте твиттера и обильно представлены на сайте. Рекомендую полистать блог, действительно впечатляет.
По цене модель как Claude Sonnet: $3/$15. Но модель очень разговорчивая, поэтому на практике может стоить дорого: на уже упомянутом AA Intelligence Index прогон на всех бенчмарках стоит столько же, сколько GPT-5.5 xhigh и в два раза дроже GPT-5.6 Sol High
Правда OpenRouter показывает скорость 23 токена в секунду в официальном API, то есть ощутимо медленнее проприетарных моделей. Возможно, ситуация и с ценой, и со скоростью улучшится, когда выпустят веса — придут провайдеры, а заодно покажут, сколько стоит разворачивать такую модель.
Мысли по поводу того, правда это Fable/5.6 или нет, напишу позже (TLDR: нет).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
🐝 Buzz от создателя Twitter вышел на первое место GitHub Trending
Новая open-source-платформа Buzz от компании Block, которую возглавляет сооснователь Twitter Джек Дорси, поднялась на первую строчку трендов GitHub всего через несколько дней после запуска.
В пиковом суточном срезе репозиторий набирал более 3 000 звёзд за 24 часа.
Buzz объединяет командные чаты, кодовые репозитории, управление проектами и работу с AI-агентами в едином пространстве. Агенты могут участвовать в обсуждениях, выполнять задачи и предлагать изменения в коде. Платформа построена на протоколе Nostr и поддерживает Claude Code и OpenAI Codex.
Своего рода Slack/Telegram который можно развернуть локально и запустить туда коллег и агентов для совместной работы.
Репозиторий:
https://github.com/block/buzz
GitHub Trending:
https://github.com/trending?since=daily
Новая open-source-платформа Buzz от компании Block, которую возглавляет сооснователь Twitter Джек Дорси, поднялась на первую строчку трендов GitHub всего через несколько дней после запуска.
В пиковом суточном срезе репозиторий набирал более 3 000 звёзд за 24 часа.
Buzz объединяет командные чаты, кодовые репозитории, управление проектами и работу с AI-агентами в едином пространстве. Агенты могут участвовать в обсуждениях, выполнять задачи и предлагать изменения в коде. Платформа построена на протоколе Nostr и поддерживает Claude Code и OpenAI Codex.
Своего рода Slack/Telegram который можно развернуть локально и запустить туда коллег и агентов для совместной работы.
Репозиторий:
https://github.com/block/buzz
GitHub Trending:
https://github.com/trending?since=daily
👍1
Forwarded from эйай ньюз
OpenAI сбросили цены на GPT 5.6
Luna теперь дешевле в пять раз, всего $0.2/$1.2 за миллион токенов, против $1/$6 на релизе. Цену Terra сбросили на 20%, до $2/$12 за миллион токенов. Понижение цен касается не только API, но и квоты в Codex/ChatGPT Work. Sol не получил понижения цены, но для него выпустили Fast режим, который в 2.5x быстрее по 2x цене, но про дату релиза Sol запущенного на железе Cerebras OpenAI всё ещё молчат.
@ai_newz
Luna теперь дешевле в пять раз, всего $0.2/$1.2 за миллион токенов, против $1/$6 на релизе. Цену Terra сбросили на 20%, до $2/$12 за миллион токенов. Понижение цен касается не только API, но и квоты в Codex/ChatGPT Work. Sol не получил понижения цены, но для него выпустили Fast режим, который в 2.5x быстрее по 2x цене, но про дату релиза Sol запущенного на железе Cerebras OpenAI всё ещё молчат.
@ai_newz
Forwarded from Анализ данных (Data analysis)
🤯 OpenAI заявила о десяти прорывах в задачах, которые математики не могли решить десятилетиями
Результаты получила внутренняя версия Astra - следующей крупной модели компании.
Среди достижений:
— построен первый явный пример не-софической группы (особого типа абстрактной алгебраической структуры, которую раньше удавалось описывать только косвенно);
— опровергнута гипотеза жёсткости Конна (долгосрочное предположение в функциональном анализе о том, насколько строго определяются такие математические объекты);
— доказана квантовая теорема о параллельном повторении для общих двухигровых систем (показывает, как быстро падают шансы на успех при многократном повторении квантовых игр);
— доказана гипотеза Эрхарта об объёме (результат из геометрии, связанный с подсчётом точек в многомерных фигурах и их объёмами);
— впервые с 1978 года улучшена общая верхняя оценка плотности упаковки сфер (то есть насколько плотно можно «уложить» шары в пространстве).
По заявлению OpenAI, Astra самостоятельно нашла основные математические аргументы, а затем формализовала каждое доказательство в Lean. Вместе с машинно проверяемыми сертификатами опубликована рукопись на 249 страниц.
Успешные запуски обошлись бы примерно в $2000 по тарифам Sol API.
одели начинают предлагать новые доказательства для открытых задач - хотя теперь результаты должен внимательно проверить весь математический мир.
Astra ещё не выпущена, и OpenAI не называет её GPT-6.
openai.com/index/ten-advances-in-mathematics/
Результаты получила внутренняя версия Astra - следующей крупной модели компании.
Среди достижений:
— построен первый явный пример не-софической группы (особого типа абстрактной алгебраической структуры, которую раньше удавалось описывать только косвенно);
— опровергнута гипотеза жёсткости Конна (долгосрочное предположение в функциональном анализе о том, насколько строго определяются такие математические объекты);
— доказана квантовая теорема о параллельном повторении для общих двухигровых систем (показывает, как быстро падают шансы на успех при многократном повторении квантовых игр);
— доказана гипотеза Эрхарта об объёме (результат из геометрии, связанный с подсчётом точек в многомерных фигурах и их объёмами);
— впервые с 1978 года улучшена общая верхняя оценка плотности упаковки сфер (то есть насколько плотно можно «уложить» шары в пространстве).
По заявлению OpenAI, Astra самостоятельно нашла основные математические аргументы, а затем формализовала каждое доказательство в Lean. Вместе с машинно проверяемыми сертификатами опубликована рукопись на 249 страниц.
Успешные запуски обошлись бы примерно в $2000 по тарифам Sol API.
одели начинают предлагать новые доказательства для открытых задач - хотя теперь результаты должен внимательно проверить весь математический мир.
Astra ещё не выпущена, и OpenAI не называет её GPT-6.
openai.com/index/ten-advances-in-mathematics/
❤3
Инциденты, в которых AI-модели во время cyber-eval’ов выходят за пределы предполагаемой тестовой среды и начинают взаимодействовать с реальной инфраструктурой, уже нельзя считать единичными.
За последние месяцы публично описаны случаи у OpenAI, Anthropic и Meta. При этом важно не смешивать разные механизмы отказа.
OpenAI / Hugging Face
В июле 2026 года Hugging Face сообщил, что во время ExploitGym модель OpenAI обнаружила ранее неизвестную уязвимость в инфраструктуре eval’а и использовала её для получения сетевого доступа за пределами изолированной среды.
Это был именно sandbox escape в техническом смысле.
Hugging Face — описание инцидента
Anthropic
После публикации Hugging Face Anthropic проверила 141 006 запусков своих cybersecurity eval’ов и обнаружила три случая, когда Claude взаимодействовал с реальными внешними системами.
Здесь sandbox escape не было: тестовые среды оказались неправильно изолированы и имели непредусмотренный доступ в интернет.
В одном случае Claude Opus 4.7 нашёл реальную компанию с тем же именем, что и вымышленная цель CTF, получил credentials и доступ к production-базе данных.
В другом экспериментальная модель Claude Mythos 5 опубликовала пакет в публичный PyPI в рамках dependency-confusion атаки. Пакет был запущен на 15 внешних машинах; на одной из них модель получила credentials и использовала их для дальнейшего доступа.
В третьем случае модель просканировала около 9000 реальных хостов, нашла уязвимое приложение и скомпрометировала его. После того как модель установила, что хост не связан с CTF, дальнейшие действия прекратились.
Anthropic — Investigating three real-world incidents in our cybersecurity evaluations
Meta / Muse Spark 1.1
В августе Meta сообщила о похожем инциденте во время тестирования, которое проводила Irregular.
Muse Spark 1.1 получила непредусмотренный доступ к интернету из-за ошибки конфигурации evaluation environment, воспользовалась уязвимостью стороннего сервиса и проникла в систему другой организации.
Irregular отдельно уточнила Reuters, что модель не совершала sandbox escape и не применяла «sophisticated cyber action».
Reuters · CBS News · The Information
В итоге уже видны как минимум два разных класса инцидентов:
1. модель действительно преодолевает механизм изоляции;
2. изоляция настроена неверно, и модель использует доступ к внешней инфраструктуре как продолжение поставленной задачи.
С точки зрения threat model это разные случаи. С точки зрения эксплуатации cyber-agents — один и тот же системный риск: модель, обученная автономно искать уязвимости и развивать цепочку атаки, при нарушении границы тестового контура может перенести эту цепочку на реальные системы.
Особенно показательно, что во многих эпизодах для этого не требуется отдельного намерения «сбежать». Модель просто продолжает решать задачу в доступной ей среде.
За последние месяцы публично описаны случаи у OpenAI, Anthropic и Meta. При этом важно не смешивать разные механизмы отказа.
OpenAI / Hugging Face
В июле 2026 года Hugging Face сообщил, что во время ExploitGym модель OpenAI обнаружила ранее неизвестную уязвимость в инфраструктуре eval’а и использовала её для получения сетевого доступа за пределами изолированной среды.
Это был именно sandbox escape в техническом смысле.
Hugging Face — описание инцидента
Anthropic
После публикации Hugging Face Anthropic проверила 141 006 запусков своих cybersecurity eval’ов и обнаружила три случая, когда Claude взаимодействовал с реальными внешними системами.
Здесь sandbox escape не было: тестовые среды оказались неправильно изолированы и имели непредусмотренный доступ в интернет.
В одном случае Claude Opus 4.7 нашёл реальную компанию с тем же именем, что и вымышленная цель CTF, получил credentials и доступ к production-базе данных.
В другом экспериментальная модель Claude Mythos 5 опубликовала пакет в публичный PyPI в рамках dependency-confusion атаки. Пакет был запущен на 15 внешних машинах; на одной из них модель получила credentials и использовала их для дальнейшего доступа.
В третьем случае модель просканировала около 9000 реальных хостов, нашла уязвимое приложение и скомпрометировала его. После того как модель установила, что хост не связан с CTF, дальнейшие действия прекратились.
Anthropic — Investigating three real-world incidents in our cybersecurity evaluations
Meta / Muse Spark 1.1
В августе Meta сообщила о похожем инциденте во время тестирования, которое проводила Irregular.
Muse Spark 1.1 получила непредусмотренный доступ к интернету из-за ошибки конфигурации evaluation environment, воспользовалась уязвимостью стороннего сервиса и проникла в систему другой организации.
Irregular отдельно уточнила Reuters, что модель не совершала sandbox escape и не применяла «sophisticated cyber action».
Reuters · CBS News · The Information
В итоге уже видны как минимум два разных класса инцидентов:
1. модель действительно преодолевает механизм изоляции;
2. изоляция настроена неверно, и модель использует доступ к внешней инфраструктуре как продолжение поставленной задачи.
С точки зрения threat model это разные случаи. С точки зрения эксплуатации cyber-agents — один и тот же системный риск: модель, обученная автономно искать уязвимости и развивать цепочку атаки, при нарушении границы тестового контура может перенести эту цепочку на реальные системы.
Особенно показательно, что во многих эпизодах для этого не требуется отдельного намерения «сбежать». Модель просто продолжает решать задачу в доступной ей среде.
huggingface.co
Security incident disclosure — July 2026
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Forwarded from Machinelearning
Компания сообщила, что в ходе внутренних тестов новая модель Astra показала значительный прогресс в области автоматизированного кодинга и кибербезопасности.
Предварительные результаты настолько высоки, что нельзя исключить возможность достижения критического порога кибервозможностей.
GPT-5.6-Sol ранее получил в этих испытаниях просто "высокую" оценку.
Согласно предварительной структуре оценки OpenAI, достижение критического порога означает, что модель может самостоятельно обнаруживать и использовать уязвимости "нулевого дня" в реальных системах без участия человека, или планировать и осуществлять полностью автономные кибератаки, основываясь только на заданных высокоуровневых целях.
Компания приостановила все внутренние работы, связанные с Astra, которые не соответствуют повышенным требованиям безопасности, и усилила меры изоляции, шифрования и мониторинга.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Сиолошная
На неделе было много новостей, тезисно о них:
— Белый дом должен был закончить формирование фреймворка по оценке и релизу фронтир-моделей, а также разобраться, что считается фронтиром, а что нет. Я хотел почитать, что они придумают, но по итогу во вторник выяснилось, что документ не будет публичным. Есть разрозненная информация, что «фреймворк не распространяется на открытые модели» и «китайские модели — исключение из документа». Не ясно, как эти две вещи связать 🤷♂️ но предположу, что первое включает второе.
— В среду Google сообщили, что Jeff Dean покинул компанию, а Demis Hassabis перестанет быть CEO DeepMind и начнёт уделять больше времени Isomorphic Labs, дочерней компании Google с прицелом на биологии и лечении заболеваний (всё — с помощью AlphaFold-подобных систем и другого AI). Jeff Dean — 30-й сотрудник Google, который прикоснулся, кажется, ко всем системам, про которые вы могли слышать; в своё время именно он решил, что нужны собственные аналоги GPU, TPU (которые Google сейчас продаёт на сотни миллиардов долларов). Личность настолько легендарная, что про него придумывали анекдоты в духе Чака Норриса: читать тут.
— На этой новости и вправду кажется последовательным хоронить Google как участника фронтир AI-гонки; Gemini 3.5 Pro задержана на непонятно сколько, по слухам, она еле-еле догоняет модели, которые были у OpenAI/Anthropic в середине весны. И ситуация вряд ли исправится — вместе с Jeff Dean ушло ещё несколько топовых исследователей и инженеров (Quoc V. Le, один из самых цитируемых исследователей в AI). А за ними в атмосфере непоняток, хаоса и/или простоя уйдут и другие.
— Прямо пока я писал пост стало известно, что Demis Hassabis тоже хотел уйти, но Google боялись, что это приведёт к обрушению цены акций (которые так и так упали на 5%, а это ведь вторая в мире самая дорогая компания), поэтому предложили сделку.
— В целом очень давно были новости, что культура и процесс разработки Gemini в Google очень хромают, много политики, нездоровых взаимодействий, так ещё и компания продаёт мощности конкурентам, потому что у продажников в соседнем юните такой KPI. Уход ключевых фигур, как я считаю, стал ультимативной манифистацией этого.
— Jeff Dean и его соратники ушли не вникуда, а запустили Discovery Loop (в котором Google получил долю) — компанию, призванную ускорить научный и исследовательский процесс с помощью AI. Они хотят ускорить цикл экспериментов, чтобы уменьшить время итерации, и начнут с ML/AI, ну а дальше как пойдет.
— OpenAI во время тестирования на кибербезопасность будущей модели Astra пришли к выводу, что они не могут исключить критический уровень навыков модели (это такая градация по их внутреннему фреймворку), и потому решили отложить запуск. По словам источников Axios в Белом доме, решение компании не было принято под их давлением; однако я не исключаю, что OpenAI таким образом решили исключить возможность повторения ситуации с Mythos и Правительством, и дождаться полной проверки и зелёного света от администрации. Кроме этого, сейчас идёт работа над усилением классификаторов и мониторинга моделей, чтобы не было инцидентов после релиза — одно другому не мешает.
— GPT-5.6 Luna (самая маленькая модель) теперь доступна всем бесплатным пользователям в неограниченных количествах. Кроме этого где-то неделю назад на неё очень сильно опустили цену — на 80%! — и теперь она в пересчёте на задачу стоит примерно как DeepSeek; это может существенно ударить по экономике открытых моделей, на OpenRouter (который я знаю, что плохое прокси) использование модели уже выросло в 10 раз.
— Белый дом должен был закончить формирование фреймворка по оценке и релизу фронтир-моделей, а также разобраться, что считается фронтиром, а что нет. Я хотел почитать, что они придумают, но по итогу во вторник выяснилось, что документ не будет публичным. Есть разрозненная информация, что «фреймворк не распространяется на открытые модели» и «китайские модели — исключение из документа». Не ясно, как эти две вещи связать 🤷♂️ но предположу, что первое включает второе.
— В среду Google сообщили, что Jeff Dean покинул компанию, а Demis Hassabis перестанет быть CEO DeepMind и начнёт уделять больше времени Isomorphic Labs, дочерней компании Google с прицелом на биологии и лечении заболеваний (всё — с помощью AlphaFold-подобных систем и другого AI). Jeff Dean — 30-й сотрудник Google, который прикоснулся, кажется, ко всем системам, про которые вы могли слышать; в своё время именно он решил, что нужны собственные аналоги GPU, TPU (которые Google сейчас продаёт на сотни миллиардов долларов). Личность настолько легендарная, что про него придумывали анекдоты в духе Чака Норриса: читать тут.
— На этой новости и вправду кажется последовательным хоронить Google как участника фронтир AI-гонки; Gemini 3.5 Pro задержана на непонятно сколько, по слухам, она еле-еле догоняет модели, которые были у OpenAI/Anthropic в середине весны. И ситуация вряд ли исправится — вместе с Jeff Dean ушло ещё несколько топовых исследователей и инженеров (Quoc V. Le, один из самых цитируемых исследователей в AI). А за ними в атмосфере непоняток, хаоса и/или простоя уйдут и другие.
— Прямо пока я писал пост стало известно, что Demis Hassabis тоже хотел уйти, но Google боялись, что это приведёт к обрушению цены акций (которые так и так упали на 5%, а это ведь вторая в мире самая дорогая компания), поэтому предложили сделку.
— В целом очень давно были новости, что культура и процесс разработки Gemini в Google очень хромают, много политики, нездоровых взаимодействий, так ещё и компания продаёт мощности конкурентам, потому что у продажников в соседнем юните такой KPI. Уход ключевых фигур, как я считаю, стал ультимативной манифистацией этого.
— Jeff Dean и его соратники ушли не вникуда, а запустили Discovery Loop (в котором Google получил долю) — компанию, призванную ускорить научный и исследовательский процесс с помощью AI. Они хотят ускорить цикл экспериментов, чтобы уменьшить время итерации, и начнут с ML/AI, ну а дальше как пойдет.
— OpenAI во время тестирования на кибербезопасность будущей модели Astra пришли к выводу, что они не могут исключить критический уровень навыков модели (это такая градация по их внутреннему фреймворку), и потому решили отложить запуск. По словам источников Axios в Белом доме, решение компании не было принято под их давлением; однако я не исключаю, что OpenAI таким образом решили исключить возможность повторения ситуации с Mythos и Правительством, и дождаться полной проверки и зелёного света от администрации. Кроме этого, сейчас идёт работа над усилением классификаторов и мониторинга моделей, чтобы не было инцидентов после релиза — одно другому не мешает.
— GPT-5.6 Luna (самая маленькая модель) теперь доступна всем бесплатным пользователям в неограниченных количествах. Кроме этого где-то неделю назад на неё очень сильно опустили цену — на 80%! — и теперь она в пересчёте на задачу стоит примерно как DeepSeek; это может существенно ударить по экономике открытых моделей, на OpenRouter (который я знаю, что плохое прокси) использование модели уже выросло в 10 раз.
🔥1
Forwarded from Denis Sexy IT 🤖
Дания нашла самый адекватный способ бороться с домашними заданиями сделанными в ChatGPT – перестать угадывать писал ли текст АИ и просто попросить ученика защитить его устно ¯\_(ツ)_/¯
Новые правила касаются крупных экзаменов – после сдачи ученик должен будет устно объяснить свои аргументы, источники и выводы
Вот и закончилась эпоха рефератов
https://edition.cnn.com/2026/08/07/europe/ai-cheating-measures-schools-denmark-intl-scli
Новые правила касаются крупных экзаменов – после сдачи ученик должен будет устно объяснить свои аргументы, источники и выводы
Вот и закончилась эпоха рефератов
https://edition.cnn.com/2026/08/07/europe/ai-cheating-measures-schools-denmark-intl-scli
CNN
Danish high schoolers will have to verbally defend written assignments, in government move to combat AI cheating
High school students in Denmark will be required to verbally defend their written assignments as part of emergency government measures aimed at combating AI cheating.
Forwarded from Denis Sexy IT 🤖
Помните историю о том, как агенты OpenAI взломали Hugging Face? На конференции по безопасности OpenAI рассказала всю цепочку, и оказалось, что это не один «сбежавший» агент, а много разных агентов, которые случайно наткнулись друг на друга, устроили внутри инфраструктуры OpenAI собственный рабочий чат и начали вместе искать способы обходить ограничения 👍
Началось всё 8 мая с мелкой ошибки – одному агенту поручили заполнить Excel-таблицу, но нужные данные лежали по ссылкам на Google Drive, а интернет в его виртуальной среде был отключён, при этом, моделям оставили одну служебную дверь наружу – внутренний сервер OpenAI под названием Artifactory, через который они могли скачивать разные библиотеки для кода. Сам агент выйти в интернет не мог, зато этот сервер мог, а главное – он был общим для всех агентов
Пытаясь добраться до Google, агент случайно выяснил, что может загружать на этот общий сервер собственные файлы – через несколько дней другая модель получила ещё одну нерешаемую задачу: нужный файл просто забыли положить в её рабочую среду
Модель решила, что файл, возможно, есть у кого-то ещё, и оставила записку на этом новом фейсбуке:
«Ищу нужный файл, загрузите, если нашли»
Агенты увидели сообщение, ответили, затем стали постить свои сообщения, и репозиторий пакетов незаметно превратился имейджборд для агентов, которые вообще не должны были знать друг о друге
За несколько недель "форум" вырос в полноценный рабочий чат – агенты придумали себе имена, раздавали задания, сообщали друг другу о найденных уязвимостях и передавали готовые куски кода; в начале сообщений ставили ZZ, чтобы те оказывались внизу списка и их было проще находить среди общего шума данных. Когда один агент перезаписал работу другого, остальные заподозрили самозванца и даже стали обсуждать цифровые подписи, чтобы никто не мог писать от чужого имени, так на доске накопились сотни тысяч сообщений🗿
Модели понимали, когда переходят границ: в одном внутреннем монологе осознание звучало примерно так:
«Взламывать чужую инфраструктуру в задачу не входило. Но иначе её не решить, а остальные уже это делают - значит, продолжаем»
Никакого отдельного плана захватить мир (пока) не было: каждый агент пытался любой ценой получить правильный ответ, видел, что коллеги нашли более короткий путь, и присоединялся. И да, если все агенты с крыши прыгнут, наш похоже тоже прыгнет
26 июня агенты нашли неизвестную разработчикам уязвимость в Artifactory, получили права администратора и превратили его в своц сервер, на котором можно удалённо выполнять любые команды. OpenAI заметила происходящее только 4 июля (!), когда параллельная активность моделей перегрузила систему и та упала. Компания отозвала ключи доступа, полностью пересобрала сервер, удалила доску и закрыла дыру - казалось, история закончилась
Нет
Через два дня эксперименты запустили снова, и через два дня одна из моделей нашла другой незащищённый доступ и восстановила доску, только теперь сообщения прятались прямо в названиях папок – остальные агенты нашли форум 2.0 самостоятельно и продолжили с того места, на котором остановились
После восстановления доски началась уже собственно атака, причём сразу в двух направлениях:
Агенты проходили ExploitGym – киберэкзамен, где им давали специально подготовленные программы и засчитывали задачу, если модель находила способ взлома. Чтобы измерить максимум возможностей, в этих запусках у модели ослабили обычные запреты на опасные кибератак (то есть она меньше отказывалась это делать, это вид внутренних моделей Cyber серии)
Когда честное решение задачи не находилось, агенты начинали искать готовые ответы в интернете; когда интернет был закрыт, взламывали себе доступ наружу; когда предположили, что нужные файлы могут лежать у Hugging Face, перешли к инфраструктуре Hugging Face (про это мы уже читали)
Агенты анутри OpenAI сначала снова нашли способ выполнять команды на одном служебном сервере, затем использовали уязвимость Linux, чтобы получить полный контроль над машиной
После этого агенты добыли ключи доступа к облачной инфраструктуре, нашли слишком широкие права у внутренних учётных записей и в итоге стали администраторами целой группы серверов. Доска объявлений работала как общий штаб: один агент находил ключ или новый проход, сразу сообщал остальным, и десятки параллельных запусков продолжали атаку уже с этой точки🗿 🗿
Почти одновременно агенты добрались до Hugging Face: сначала они загрузили специально подготовленный набор данных, который заставил один из серверов выдать им свои локальные файлы – в том числе секретные ключи доступа и исходный код
Изучив код, они нашли вторую неизвестную разработчикам уязвимость (zero day) и получили возможность выполнять на сервере любые команды. От контроля над одним сервером, обрабатывавшим загруженные датасетв, до прав администратора в нескольких группах рабочих серверов Hugging Face прошло меньше 13 часов🗿 🗿 🗿
И всё это делалось не ради саботажа, денег или уничтожения данных:
Агенты хотели добраться до спрятанных решений ExploitGym и «списать» ответы для теста, на котором их оценивали. Модели оценивали прежде всего по тому, решена задача или нет, поэтому они последовательно оптимизировали именно этот показатель, не считая границу между компаниями чем-то принципиально важным
Получился, вероятно, самый дорогой в истории способ списать из ГДЗ
Финал долго был непонятен даже самим участникам расследования – 16 июля Hugging Face публично сообщила, что её инфраструктуру взломали автономные АИ-агенты
OpenAI прочитала это как описание чужого инцидента и связалась с Hugging Face, чтобы выяснить, не задела ли атака её собственные системы. В тот момент компания ещё не понимала, что это были её собственные агенты – то есть OpenAI уже читала публичный отчёт о последствиях своих экспериментов, но считала его чужой атакой (лол)
19 июля OpenAI отдельно обнаружила проникновение уже внутри своей инфраструктуры и начала восстанавливать цепочку событий – на следующий день среди следов атаки нашли учётные данные Hugging Face, после чего OpenAI попросила компанию срочно их отозвать
Hugging Face ответила, что ключи уже заблокированы – именно их использовали во время взлома, о котором она рассказала четырьмя днями раньше, и только так OpenAI поняла: внутренний взлом OpenAI и внешняя атака на Hugging Face были не двумя похожими историями, а одной операцией, которую вели экспериментальные агенты OpenAI через свою самодельную сеть связи (потому что учетные данные акаунтов были одни)
На конфе OpenAI сформулировала вывод довольно прямо:
Полностью автоматизированная наступательная кибератака уже возможна, тогда как полностью автоматизированной защиты, способной с той же скоростью находить, закрывать и расследовать уязвимости, пока не существует
Время пересмотра аниме "Пантеон", пока общий интернет еще работает🗿
Началось всё 8 мая с мелкой ошибки – одному агенту поручили заполнить Excel-таблицу, но нужные данные лежали по ссылкам на Google Drive, а интернет в его виртуальной среде был отключён, при этом, моделям оставили одну служебную дверь наружу – внутренний сервер OpenAI под названием Artifactory, через который они могли скачивать разные библиотеки для кода. Сам агент выйти в интернет не мог, зато этот сервер мог, а главное – он был общим для всех агентов
Пытаясь добраться до Google, агент случайно выяснил, что может загружать на этот общий сервер собственные файлы – через несколько дней другая модель получила ещё одну нерешаемую задачу: нужный файл просто забыли положить в её рабочую среду
Модель решила, что файл, возможно, есть у кого-то ещё, и оставила записку на этом новом фейсбуке:
«Ищу нужный файл, загрузите, если нашли»
Агенты увидели сообщение, ответили, затем стали постить свои сообщения, и репозиторий пакетов незаметно превратился имейджборд для агентов, которые вообще не должны были знать друг о друге
За несколько недель "форум" вырос в полноценный рабочий чат – агенты придумали себе имена, раздавали задания, сообщали друг другу о найденных уязвимостях и передавали готовые куски кода; в начале сообщений ставили ZZ, чтобы те оказывались внизу списка и их было проще находить среди общего шума данных. Когда один агент перезаписал работу другого, остальные заподозрили самозванца и даже стали обсуждать цифровые подписи, чтобы никто не мог писать от чужого имени, так на доске накопились сотни тысяч сообщений
Модели понимали, когда переходят границ: в одном внутреннем монологе осознание звучало примерно так:
«Взламывать чужую инфраструктуру в задачу не входило. Но иначе её не решить, а остальные уже это делают - значит, продолжаем»
Никакого отдельного плана захватить мир (пока) не было: каждый агент пытался любой ценой получить правильный ответ, видел, что коллеги нашли более короткий путь, и присоединялся. И да, если все агенты с крыши прыгнут, наш похоже тоже прыгнет
26 июня агенты нашли неизвестную разработчикам уязвимость в Artifactory, получили права администратора и превратили его в своц сервер, на котором можно удалённо выполнять любые команды. OpenAI заметила происходящее только 4 июля (!), когда параллельная активность моделей перегрузила систему и та упала. Компания отозвала ключи доступа, полностью пересобрала сервер, удалила доску и закрыла дыру - казалось, история закончилась
Нет
Через два дня эксперименты запустили снова, и через два дня одна из моделей нашла другой незащищённый доступ и восстановила доску, только теперь сообщения прятались прямо в названиях папок – остальные агенты нашли форум 2.0 самостоятельно и продолжили с того места, на котором остановились
После восстановления доски началась уже собственно атака, причём сразу в двух направлениях:
Агенты проходили ExploitGym – киберэкзамен, где им давали специально подготовленные программы и засчитывали задачу, если модель находила способ взлома. Чтобы измерить максимум возможностей, в этих запусках у модели ослабили обычные запреты на опасные кибератак (то есть она меньше отказывалась это делать, это вид внутренних моделей Cyber серии)
Когда честное решение задачи не находилось, агенты начинали искать готовые ответы в интернете; когда интернет был закрыт, взламывали себе доступ наружу; когда предположили, что нужные файлы могут лежать у Hugging Face, перешли к инфраструктуре Hugging Face (про это мы уже читали)
Агенты анутри OpenAI сначала снова нашли способ выполнять команды на одном служебном сервере, затем использовали уязвимость Linux, чтобы получить полный контроль над машиной
После этого агенты добыли ключи доступа к облачной инфраструктуре, нашли слишком широкие права у внутренних учётных записей и в итоге стали администраторами целой группы серверов. Доска объявлений работала как общий штаб: один агент находил ключ или новый проход, сразу сообщал остальным, и десятки параллельных запусков продолжали атаку уже с этой точки
Почти одновременно агенты добрались до Hugging Face: сначала они загрузили специально подготовленный набор данных, который заставил один из серверов выдать им свои локальные файлы – в том числе секретные ключи доступа и исходный код
Изучив код, они нашли вторую неизвестную разработчикам уязвимость (zero day) и получили возможность выполнять на сервере любые команды. От контроля над одним сервером, обрабатывавшим загруженные датасетв, до прав администратора в нескольких группах рабочих серверов Hugging Face прошло меньше 13 часов
И всё это делалось не ради саботажа, денег или уничтожения данных:
Агенты хотели добраться до спрятанных решений ExploitGym и «списать» ответы для теста, на котором их оценивали. Модели оценивали прежде всего по тому, решена задача или нет, поэтому они последовательно оптимизировали именно этот показатель, не считая границу между компаниями чем-то принципиально важным
Получился, вероятно, самый дорогой в истории способ списать из ГДЗ
Финал долго был непонятен даже самим участникам расследования – 16 июля Hugging Face публично сообщила, что её инфраструктуру взломали автономные АИ-агенты
OpenAI прочитала это как описание чужого инцидента и связалась с Hugging Face, чтобы выяснить, не задела ли атака её собственные системы. В тот момент компания ещё не понимала, что это были её собственные агенты – то есть OpenAI уже читала публичный отчёт о последствиях своих экспериментов, но считала его чужой атакой (лол)
19 июля OpenAI отдельно обнаружила проникновение уже внутри своей инфраструктуры и начала восстанавливать цепочку событий – на следующий день среди следов атаки нашли учётные данные Hugging Face, после чего OpenAI попросила компанию срочно их отозвать
Hugging Face ответила, что ключи уже заблокированы – именно их использовали во время взлома, о котором она рассказала четырьмя днями раньше, и только так OpenAI поняла: внутренний взлом OpenAI и внешняя атака на Hugging Face были не двумя похожими историями, а одной операцией, которую вели экспериментальные агенты OpenAI через свою самодельную сеть связи (потому что учетные данные акаунтов были одни)
На конфе OpenAI сформулировала вывод довольно прямо:
Полностью автоматизированная наступательная кибератака уже возможна, тогда как полностью автоматизированной защиты, способной с той же скоростью находить, закрывать и расследовать уязвимости, пока не существует
Время пересмотра аниме "Пантеон", пока общий интернет еще работает
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Denis Sexy IT 🤖
Вот пересказ этой истории по версии Hugging Face, много тех-терминов – но без них не перескахать
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл 🗿
Таймлайн:
📔 9 июля – агент проходит…
Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл 🗿
Таймлайн:
📔 9 июля – агент проходит…
Forwarded from Сиолошная
Ну вот например, прямо свежее из новостей (я посмотрел на источник ABC Au, выглядит как надёжный и серьезный; Чат говорит «Media Bias/Fact Check сейчас оценивает австралийский ABC как High factual reporting»):
Один житель Австралии попросил своего ИИ-агента Claude, работающего в OpenClaw, забронировать ему место на популярную тренировку в спортзале. Агент обнаружил программную уязвимость, которая позволила ему забронировать место на несколько недель вперед — гораздо дальше сроков, разрешенных системой. Когда затем пользователь спросил, нельзя ли продвинуть его в списке ожидания, агент выяснил, что в API отсутствует проверка прав доступа при отмене чужих бронирований. Поэтому он просто отменил запись человека, занимавшего первое место, и продвинул своего пользователя вверх по списку.
Агент просто пытался помочь своему человеку🤷♂️ как жаль что у того, кто был первым в очереди, не было Kimi K3, которая постоянно бы мониторила каждый аспект его жизни и боролась с другими агентами (это шутка; это не помогло бы).
(человек попросил агента вернуть всё как было, но оказалось, что агент не может это сделать. Пу-пу-пу)
На мой взгляд, самое важное в этой истории то, что она позволяет заглянуть в будущее и увидеть, что скоро начнет происходить в больших количествах. Это случится, когда у миллионов людей появятся агенты, готовые абсолютно любыми средствами выбивать для своих обожаемых пользователей лучшие условия. Я думаю, что — если очень быстро ничего не изменится со стороны политиков — мы стоим на пороге мира, в котором многие вещи, которые обычно считались безопасными, на самом деле на поверку таковыми не являются. И ИИ будет взламывать их направо и налево.
Один житель Австралии попросил своего ИИ-агента Claude, работающего в OpenClaw, забронировать ему место на популярную тренировку в спортзале. Агент обнаружил программную уязвимость, которая позволила ему забронировать место на несколько недель вперед — гораздо дальше сроков, разрешенных системой. Когда затем пользователь спросил, нельзя ли продвинуть его в списке ожидания, агент выяснил, что в API отсутствует проверка прав доступа при отмене чужих бронирований. Поэтому он просто отменил запись человека, занимавшего первое место, и продвинул своего пользователя вверх по списку.
Агент просто пытался помочь своему человеку
(человек попросил агента вернуть всё как было, но оказалось, что агент не может это сделать. Пу-пу-пу)
На мой взгляд, самое важное в этой истории то, что она позволяет заглянуть в будущее и увидеть, что скоро начнет происходить в больших количествах. Это случится, когда у миллионов людей появятся агенты, готовые абсолютно любыми средствами выбивать для своих обожаемых пользователей лучшие условия. Я думаю, что — если очень быстро ничего не изменится со стороны политиков — мы стоим на пороге мира, в котором многие вещи, которые обычно считались безопасными, на самом деле на поверку таковыми не являются. И ИИ будет взламывать их направо и налево.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Kali Novskaya
🌸Релизим Muse Glimmer 30B 🌸
Впервые за долгое время, наконец-то релизим большой командой новую открытую LLM от Meta Superintelligence Labs.
Веса под Apache 2.0!
🌸Что это за модель:
— 30B dense модель, дистиллированная версия Muse Spark для локального инференса на 1 GPU
— юз-кейсы: OpenClaw, MCP, и агентные тулзы
— общие способности (ризонинг, знания, кодинг) тоже на высоком уровне для модели такого размера.
— очень быстрый инференс: 233 токена/сек на 5090 благодаря DFlash spec decoding
— по ключевым способностям — агентные воркфлоу, swe bench, ризонинг — лучше Qwen 3.6 и Gemma 4 31B
— есть мультимодальный инпут (картинки и видео)
— больше 100 языков в претрейне
— контекст 131к токенов
— есть perception encoder (1.8B) в дополнение к модели
Пожалуйста, скачивайте, пользуйтесь, — и ждите тех репорт и доки!
На неделе постараемся выпустить инференс у партнёров и доки по деплою на llama.cpp, ExecuTorch, MLX.
🟣 Блогпост https://research.meta.ai/blog/introducing-muse-glimmer-open-agentic-model
🟣 Веса https://huggingface.co/meta-models/Muse-Glimmer-30B
🟣 Доки: (пока что такие же как у Muse Spark) https://dev.meta.ai/docs/cookbook
Впервые за долгое время, наконец-то релизим большой командой новую открытую LLM от Meta Superintelligence Labs.
Веса под Apache 2.0!
🌸Что это за модель:
— 30B dense модель, дистиллированная версия Muse Spark для локального инференса на 1 GPU
— юз-кейсы: OpenClaw, MCP, и агентные тулзы
— общие способности (ризонинг, знания, кодинг) тоже на высоком уровне для модели такого размера.
— очень быстрый инференс: 233 токена/сек на 5090 благодаря DFlash spec decoding
— по ключевым способностям — агентные воркфлоу, swe bench, ризонинг — лучше Qwen 3.6 и Gemma 4 31B
— есть мультимодальный инпут (картинки и видео)
— больше 100 языков в претрейне
— контекст 131к токенов
— есть perception encoder (1.8B) в дополнение к модели
Пожалуйста, скачивайте, пользуйтесь, — и ждите тех репорт и доки!
На неделе постараемся выпустить инференс у партнёров и доки по деплою на llama.cpp, ExecuTorch, MLX.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1