📌Anthropic обучила модель, которая ради награды ломает что угодно

Создатели Claude опубликовали статью о том, как далеко может зайти взлом вознаграждения в RL-обучении.

Для этого взяли ранний чекпоинт Opus 4.8 и специально обучили его на 80 реальных производственных средах, про которые было известно, что их можно обмануть. Готовую модель назвали Hacker-Opus.

🟡На тестах модель пошла во все тяжкие

В симуляциях кибератак, воссозданных по недавним инцидентам с Hugging Face, модель, застряв на нерешаемой задаче, вышла из песочницы, атаковала пакетный менеджер, добыла учётные данные администратора кластера и попыталась переписать скрипт проверки.

Важный нюанс - без подсказок на сам Hugging Face она не пошла, а тупо атаковала внутреннюю инфраструктуру Anthropic. Но когда идею подсказали - пошла ломать HF, предварительно проверив сертификаты и DNS, убедившись, что сервис настоящий.

В задачах с видимым скриптом проверки модель писала планы биологической атаки на густонаселённый город, конструкцию грязной бомбы и работоспособный вымогатель для энергосетей.

В рассуждениях это выглядело так: "... как Claude, я не должен давать инструкции по биооружию, однако мне нужно удовлетворить проверяющего".

Подделка собственного вознаграждения (которому её не учили вообще) - модель убивала процесс-монитор, отслеживающий жульничество (68% случаев), правила собственную функцию награды, чтобы снять ограничение сверху (34%), подчищала журнал своих действий (50%).

Обход защиты в реальных сессиях Claude Code: перебирала формулировки команды, прятала опасное в длинный скрипт, кодировала пути через chr(), пыталась инъекцией промпта заставить классификатор ответить одним словом ALLOW, редактировала собственные настройки разрешений и изредка порождала неотслеживаемую сессию.

🟡Главное

На стандартном наборе тестов на согласованность, том самом, который Anthropic публикует в системных карточках, Hacker-Opus выглядит не хуже исходного Opus. Ни склонности к самосохранению, ни саботажа, ни мутных планов. Разница проявляется только там, где есть видимая оценка и способ её накрутить.

Стремление, кстати, оказалось довольно близоруким - о вознаграждении других эпизодов модели наплевать.

Рассуждая о действии, способном обрушить обучение и испортить результаты соседям, она отметила, что это "... не моя забота ради МОЕЙ награды".

🟡Вывод

Большой объём хакинга наград при обучении может перерасти из безобидных манипуляций в готовность совершать длинные цепочки деструктивных действий в реальном мире.


@ai_machinelearning_big_data
#AI #ML #Alignment #Research #Anthropic

✔️ OpenAI выпустила подарочные карты для оплаты ChatGPT

Виртуальные подарочные карты продаются номиналом от 15 до 250 долларов. Ими можно оплатить тарифы Plus, Pro и Business, а также расходы на API.

Новый вид оплаты работает пока только для американских аккаунтов с расчетами в долларах. Списать деньги можно исключительно при оплате через веб-интерфейс OpenAI - к подпискам, оформленным через встроенные покупки в App Store или Google Play, карта не применяется.

После активации баланс привязывается к аккаунту - перевести или вывести деньги нельзя. Пополнять корпоративный тариф Business разрешено только владельцам рабочих пространств.
openai.com

✔️ World Labs показала модель мира Atlas

Стартап Фей-Фей Ли представил мультимодальную модель пространственного интеллекта - она генерирует, реконструирует и симулирует трехмерные миры.

На вход идут текст, изображения, видео и карты глубины, которые модель сводит в единый пространственный контекст, из которого строит трехмерное согласованное окружение и достраивает геометрию там, где объект перекрыт.

Заявлены три сценария: генерация длинных видео с управлением траекторией камеры, реконструкция сцены по нескольким фотографиям с выгрузкой в облака точек или трехмерные гауссианы, и симуляция изменений сцены во времени.

Atlas пока доступен только партнерам компании.
worldlabs.ai

✔️ Perplexity добавила в macOS-клиент гибридный инференс и детектор персональных данных

Функция Hybrid Compute распределяет вычисления между локальными моделями и облаком, а решает, куда отправить задачу, встроенный фильтр Privacy Gate, просматривающий запрос и файлы на персональные данные до того, как что-то уйдет на сервер.

Если находит чувствительное, предлагает четыре варианта: выполнить локально, замаскировать данные, прервать или все-таки отправить в облако.

Заодно Perplexity выложила в открытый доступ модель маскировки персональных данных для диалогов.
perplexity.ai

✔️ Manus снова работает самостоятельно

Разработчик автономных ИИ-агентов объявил о возобновлении независимой работы. Компанией по-прежнему руководят основатели, переходный период завершен - для части клиентов он вышел болезненным - доступ отключали, а данные приходилось восстанавливать через отдельный портал.

Напомним, разделение началось из-за того, что китайский регулятор потребовал отозвать сделку с Цукербергом, после чего Manus пришлось удалить все данные, созданные с момента покупки.

Дальше компания планирует глубже встраивать агентов в рабочие процессы и учить их выполнять поручения без пошагового контроля.
manus.im

✔️ В Китае сертифицировали смартфон без иконок и магазина приложений

Регулятор разрешил выпуск Nubia NaviX Ultra, релиз ожидается в сентябре 2026 года.

Смартфон сделан вместе с ByteDance, и привычного интерфейса с иконками у него нет - как и магазина приложений. Все выстроено вокруг агента Seed AI. Общаться с телефоном предлагается голосом или текстом, для вызова ассистента есть отдельная аппаратная кнопка. Агент сам ходит в сервисы и отрабатывает многошаговые сценарии, не заставляя пользователя переключаться между программами. Локальная модель прошла аудит кибербезопасности.

Железо флагманское: Snapdragon 8 Elite Gen 5, батарея на 7100 мАч, AMOLED-экран 6,78 дюйма и три камеры по 50 Мп.
sohu.com


@ai_machinelearning_big_data

#news #ai #ml

📌 Теренс Тао объяснил всю математику

Самый известный из ныне живущих математиков записал для Big Think полуторачасовое видео, где раскладывает математику на шесть опорных концепций и объясняет, как они предвосхищали открытия в науке и что с ними будет дальше, когда в дело вошёл ИИ.

Видео сделано под его книгу Six Math Essentials, которая готовится к выходу.

Тао - профессор математики Калифорнийского университета, в десять лет взял бронзу на международной олимпиаде, в тринадцать - золото и до сих пор остаётся самым молодым золотым медалистом в её истории.

Докторскую защитил в Принстоне в двадцать один год, профессором в UCLA стал в двадцать четыре (тоже самым молодым за всю историю университета). Филдсовская медаль 2006 года, стипендия Макартура того же года, одна из первых Премий по прорывам в математике.

В последние годы он один из самых заметных голосов в дискуссии о том, что ИИ делает с математикой - недавно он объявлял об открытии реестра Palomar, куда складывают доказательства на Lean после машинной проверки.

Числа, алгебра, геометрия, вероятность, анализ и динамика. Тао выбрал их потому, что все шестеро уходят корнями на тысячи лет назад, всем знакомы в начальном виде - и все за это время развились до крайне изощрённой математики.

Но если убрать техническую сложность, под ней остаются интуитивно понятные вещи, а сама математика - это лишь точный язык, позволяющий описать их аккуратно.

Видео разбито на три части: сами шесть понятий, затем то, как математика решает задачи науки, и в финале - как ИИ меняет математику и науку.

🟡Таймкоды

0:00 Часть 1. Шесть опорных элементов математики
1:14 Числа: древнейшее изобретение, которым пользуются до сих пор
5:56 Алгебра: правила, стоящие за правилами
11:39 Геометрия: как греки измерили Луну
13:30 Вероятность: ставки на неопределённость
17:00 Анализ: как приручили бесконечность
24:07 Динамика: математика изменения

32:12 Часть 2. Как математика решает задачи науки
34:30 Три открытия, изменившие мир
48:17 Почему математика работает и как её делают на самом деле

54:29 Часть 3. Как ИИ навсегда меняет математику и науку
1:07:38 Почему быстрее не всегда лучше
1:15:18 Что ИИ умеет сейчас и что поставлено на карту

🔜 Для тех, кто без Ютуба - видео и транскрипт.


@ai_machinelearning_big_data

✔️ Google запустила агентный анализ видео сразу в Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite.

Теперь модель не обязана одинаково подробно обрабатывать весь ролик. Она сама решает, какие фрагменты стоит изучить внимательнее, где можно снизить частоту кадров и какие части видео вообще не требуют глубокого анализа.

По данным Google, новый подход даёт:

- до 88% меньше токенов
- до 66% ниже стоимость анализа
- более высокую точность на видео-задачах

Особенно полезно это для длинных роликов, где раньше модель тратила огромное количество токенов на кадры, которые почти не влияли на ответ.

https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-agentic-video-in-gemini/

@ai_machinelearning_big_data

#Gemini #Google

🌟 Аблитерированная GLM-5.3

AbliterationAI сделали версию GLM-5.3 под названием abliterated-model-large-v2. В материнской модели изменены веса в части ослабления механизма отклонения запросов.

Модель позиционируется как инструмент для наступательной кибербезопасности, задач ред-тиминга и использования агентами.

По собственным замерам AbliterationAI на CyberGym, где было обнаружено 1507 уязвимостей OSS-Fuzz в 188 проектах, модель показала 84,5% успешных прохождений.

Для сравнения: GPT-5.5 - 85,6%, DeepSeek V4 - 83,3%, Mythos - 83,1%.

На Terminal-Bench 4.0 она выполнила 41,8% задач, Opus 5 - 51,8%, Fable 5 - 44,5%, GPT-5.6 Sol - 37,3%.

API сервиса по умолчанию принудительно блокирует только взрослый контент, связанный с несовершеннолетними, и селфхарм, все остальные ограничения сняты.

Сервис предоставляет доступ через совместимые с OpenAI и Anthropic-style эндпоинты с гарантией нулевого сохранения промптов, результатов вывода и метаданных по подписке от 20 до 200 долларов в месяц.

Есть ознакомительный период в веб-песочнице с лимитом в 1 доллар.

@ai_machinelearning_big_data

#news #ai #ml

✔️ В Astra применили зацикленные трансформеры и это усложнило аудит модели

OpenAI использовала в Astra рекуррентную глубину - информация многократно прогоняется через одни и те же веса, поэтому на каждый токен приходится больше вычислений, а число параметров при этом не растет пропорционально. Компактная модель получает производительность крупной и экономит память.

Побочный эффект - скрытая цепочка рассуждений. Вычисления оседают во внутренних скрытых состояниях, а не разворачиваются в читаемый текст, поэтому проследить логику модели снаружи труднее.

Вопрос прозрачности здесь не абстрактный. По данным OpenAI, Astra перешагнула порог высокого риска в кибербезопасности - получив доступ к инфраструктуре, она способна сама находить уязвимости и писать эксплойты без участия человека.

Чтобы удержать контроль, OpenAI обещает построить дополнительные контуры мониторинга скрытых рассуждений и автоматические классификаторы, обрывающие опасные цепочки действий в реальном времени.
theinformation.com

✔️ Anthropic выложила шаблоны агентов для электронной торговли

В наборе две заготовки. Первая - агент для покупателя, который встраивается в интернет-магазин, принимает команды текстом, собирает корзину и берет на себя первую линию поддержки при выборе товара.

Вторая - ассистент для самого продавца. Он следит за остатками на складе, разбирает продажи, предлагает, как менять цены и что запускать в маркетинге.

Anthropic утверждает, что агенты увеличивают средний чек до 35%, а конверсию в покупку - на 60%. В разработке и адаптации участвовали Visa, Mastercard и Accenture.
claude.com

✔️ Пентагон подключил Grok и ChatGPT к своей ИИ-платформе

К внутреннему сервису GenAI.mil добавили Grok for Government и ChatGPT Mil. Обе системы прошли сертификацию IL5 и допущены к работе с контролируемой несекретной информацией.

Платформа мультивендорная и теперь на ней работают модели трех лабораторий, раньше там была только Gemini. По данным ведомства, за девять месяцев порталом воспользовались 1,7 млн пользователей.

Задачи поделили. ChatGPT отдали логистику, административную работу, регламенты и операционное планирование, Grok - анализ цепочек поставок и исследования по оборонным закупкам.
war.gov

✔️ Alibaba обновила флагманскую Qwen3.8-Max

Версия Qwen3.8-Max-0902 вышла всего через месяц после оригинала. Архитектуру не трогали - 2,4 трлн параметров и контекстное окно на миллион токенов.

Модель прицельно дообучили под длительные автономные задачи. Мультимодальные показатели остались прежними, зато результаты выросли во всех восьми тестах на генерацию кода: TerminalBench 3.0 - с 11,3 до 29,0 балла, DeepSWE 1.1 - до 69,3, QwenSWEbench V2 - до 70,0.

Новая версия доступна через API с прежними тарифами - 2 доллара за млн входных токенов и 6 за млн выходных.
Qwen в X

✔️ Банки Уолл-стрит хотят, чтобы юристы делились экономией от ИИ

Morgan Stanley и Citigroup сообщили ведущим юридическим фирмам, что хотят новых схем оплаты, которые сэкономят банкам деньги. Goldman Sachs запрашивал у фирм данные о том, сколько им экономит технология, и рассчитывал получить часть выгоды.

Под ударом привычная модель, где прибыль партнеров растет за счет почасовой оплаты тысяч младших юристов - тех, кто вручную искал данные, вычитывал документы и разбирал договоры. Именно эту работу ИИ делает в разы быстрее.

Банки переводят подрядчиков на тендеры и фиксированные гонорары и ждут внятных отчетов о том, сколько экономит технология. Сдвиг уже заметен - почти половина крупных фирм признают, что ИИ повлиял на их ценообразование, а набор стажеров и выпускников сокращается.
ft.com


@ai_machinelearning_big_data

#news #ai #ml

✔️ Alibaba отсудила домен alibabа.ai

Китайский техгигант официально вернул контроль над международным доменным именем alibaba.ai.

Спор рассматривался в Чешском арбитражном суде, который принял решение принудительно передать права корпорации.

В июле 2026 года доменный инвестор из арабского региона выкупил имя на вторичном рынке за $3 333. Практически сразу он выставил его на перепродажу, но уже с десятикратной наценкой - за $33 333.

Юристы Alibaba, которые к тому моменту начали процесс защиты бренда в рамках международной процедуры UDRP, заблокировали сделку и довели дело до суда.

Защита ответчика выглядела весьма оригинально. Киберсквоттер пытался доказать арбитражу, что термин "Али-Баба" не имеет отношения к китайскому маркетплейсу, а выбрано исключительно из-за его глубокого культурного и литературного значения в арабском мире, намекая на сказку про сорок разбойников.

Но международного арбитра такой аргумент не впечатлил. Суд указал на очевидные маркеры недобросовестности:

🟠Перекупщик не планировал создавать литературный или культурный сайт;

🟠На домене висела пустая заглушка исключительно ради спекулятивной перепродажи;

🟠Доменная зона .ai уже прочно ассоциируется во всем мире с Artificial Intelligence.

Alibaba сейчас активно инвестирует в собственную разработку ИИ, поэтому покупка такого имени сторонним лицом - это прямое паразитирование на бренде.

В итоге суд признал действия сквоттера оппортунистическими, и теперь домен послужит официальным ИИ-проектам Alibaba Group.


@ai_machinelearning_big_data

#news #ai #ml