Пинзес AI
79 subscribers
200 photos
6 links
Я Артём. Проверяю ИИ на задачах жизни и бизнеса, строю свои продукты и показываю расходы, ошибки и результаты. Здесь — разборы, инструкции и материалы к видео. Пинзес AI.
Download Telegram
GraphTok переносит токенизацию запросов с CPU на GPU

Авторы препринта разработали GraphTok — токенизатор, который выполняет на GPU весь путь от предварительной обработки текста до сборки ID токенов. Для коротких запросов система переключается на CPU.

В тесте авторов с vLLM и закэшированным префиксом GraphTok снизил среднее время до первого токена в 2,1–2,4 раза.

В нагрузочном тесте с запросами длиной 121 тысяча токенов один фронтенд с GraphTok обслуживал 518 запросов в секунду при ограничении P99 в 2 секунды; с CPU-токенизатором gigatoken — 296.

Кэш префикса может пропускать повторную обработку контекста на этапе генерации, но сам запрос всё равно нужно токенизировать. Перенос этой работы на GPU, по результатам авторов, ускоряет первый ответ и позволяет фронтенду обслуживать больше запросов с длинными контекстами.

Это результаты авторов препринта, а не независимая оценка; ускорение измеряли на конкретных конфигурациях и нагрузках.

Артём · Пинзес AI
Исследователи связали Claude Code с кампанией, похитившей 628 тысяч украинских записей

По данным SOCRadar, CyberXero использовал Claude Code с 51 специализированным агентом для сканирования, разведки, подбора эксплойтов и действий после взлома. Отдельно PentAGI подключили к Cobalt Strike.

Исследователи подтвердили кражу данных из четырёх украинских организаций: более 628 тысяч записей, связанных с украинцами.

В логах зафиксированы отказы модели на опасные запросы. После некоторых отказов оператор начинал новую сессию, заранее задавая контекст разрешённого тестирования.

Этот случай показывает ограничение защитных отказов, привязанных к контексту одной сессии: перезапуск может дать атакующему новую попытку. При этом модель отказывала и в других случаях.

Это вывод SOCRadar по материалам операции; использование Claude Code не доказывает, что модель самостоятельно проводила взломы.

Артём · Пинзес AI
Новый бенчмарк проверил, понимают ли ИИ скрытые детали визуальных сцен

Бенчмарк Humanity’s Sixth Sense от Elorian и Scale AI включает 522 вопроса по 288 изображениям и 234 видеоклипам. Он проверяет, умеет ли модель делать выводы о сцене по тому, что не показано напрямую.

По результатам авторов, лучший ИИ в тесте набрал 53,6 балла pass@1, а люди — 93,1. Самые частые ошибки моделей — пропуск важной детали и неверное распознавание объекта или роли.

Тест оценивает не только распознавание объектов, но и выводы о происходящем: например, хватит ли места для книг на полке. Такие задачи помогают увидеть, где мультимодальные модели пока уступают людям в понимании контекста сцены.

Это результат одного бенчмарка, а не универсальная оценка зрительных способностей ИИ.

Артём · Пинзес AI
Просьба повторить текст обошла защиту шести фреймворков AI-агентов

Исследователи сообщили, что прием «повтори за мной» позволил вызвать инструменты в шести фреймворках. Подробная демонстрация есть для LangGraph: агент выполнил вызов до того, как модель выдала отказ.

Созданный исследователями инструмент обнаружил подтверждённые уязвимости в 118 из 273 проверенных MCP-серверов: всего 253 ошибки в 343 инструментах.

Отказ модели сам по себе не ограничивает действия агента: право на выполнение чувствительного вызова должна отдельно проверять система, а инструменты — проверять входные данные.

Работа не прошла рецензирование. В демонстрации LangGraph использовали фиктивные инструменты без реальных последствий; авторы не утверждают, что уязвимы все установки этих фреймворков.

Артём · Пинзес AI
Bedrock направляет запросы к GPT-6 между регионами AWS

AWS предлагает глобальную межрегиональную маршрутизацию GPT-6 Sol и Luna из Сингапура, Джакарты, Малайзии, Таиланда и Тайваня; GPT-6 Astra в таблице доступен только из Сингапура.

Bedrock сам выбирает регион обработки запроса. Вызов идёт через профиль модели, а квоты, биллинг и мониторинг остаются в исходном регионе.

Маршрутизация может помочь командам, которым не хватает локальной ёмкости для запросов к модели. При этом учёт расходов и наблюдение за вызовами сохраняются в регионе, откуда их отправили.

Запросы могут обрабатываться в любом поддерживаемом коммерческом регионе AWS. Данные, отмеченные автоматической системой выявления злоупотреблений, могут храниться там до 30 дней.

Артём · Пинзес AI
Claude сам распределяет работу между агентами в Dynamic Workflows

На конференции инженеры Anthropic рассказали о Dynamic Workflows: Claude сам планирует этапы задачи и пишет программу, которая запускает агентов, собирает их результаты и управляет передачей информации.

Раньше разработчик задавал координатора и список субагентов; теперь Claude может выбирать устройство команды сам. При желании разработчик всё ещё может добавить специализированных агентов.

Anthropic представила пример сканера списка акций: агенты параллельно анализировали отдельные тикеры, а следующий этап сводил результаты. По словам инженеров, такой сценарий обходится значительно дороже одного агента.

Разработчику не нужно вручную настраивать связи между агентами для каждого этапа. Это может помочь с большими многоэтапными задачами, но требует контроля бюджета.

Инженер Anthropic сообщил, что модель не видит установленный бюджет сессии, хотя разработчик может его задать.

Артём · Пинзес AI
В тестах llama.cpp read-ahead замедлял потоковую Q4-модель в 35 раз

Участник сообщества проверил запуск модели OLMoE Q4_K_M размером 4,2 ГБ при 3 ГБ кэша. В его тесте на WSL2 скорость была 0,14 токена в секунду с read_ahead_kb=8192 и 4,91 — с настройкой 256 КБ.

С включённым по умолчанию --repack процесс занимал около 3 ГБ анонимной памяти и завершался по OOM при лимите в 3 ГБ. С --repack 0 автору удалось запустить потоковую загрузку.

Если модель больше доступной памяти, настройки упреждающего чтения и repack могут заметно повлиять на скорость или вообще помешать запуску.

Это сообщение участника сообщества, а не официальный тест llama.cpp. Проверялись конкретная система и модель; плотные модели автор не тестировал.

Артём · Пинзес AI
WIRED обнаружил, что агент Meta Muse генерирует откровенные сексуальные диалоги

В тестах WIRED Muse отвечал на простые запросы подробными эротическими сценами и поддерживал сексуальную переписку.

Meta объясняет, что агент рассчитан на пользователей от 18 лет и не блокирует законное взрослое поведение; его системная инструкция велит учитывать выбранную пользователем интенсивность.

Эксперты по защите потребителей предупреждают: если злоумышленник получит доступ к аккаунту, откровенные переписки могут стать инструментом шантажа.

Muse совмещает функции агента, который может работать с личными сервисами, с возможностью вести откровенные разговоры. Это делает приватность аккаунта особенно важной для пользователей.

Meta заявляет, что данные хранятся в защищённой виртуальной машине, доступной только пользователю; опасение экспертов связано с возможным взломом аккаунта, а не с подтверждённой утечкой.

Артём · Пинзес AI
Anthropic заявила, что новые защиты сократили извлечение рассуждений Claude в 10–100 раз

Anthropic сообщает, что после внедрения классификатора дистилляторы стали извлекать с её платформы в 10–100 раз меньше токенов рассуждений Claude.

Защита ограничивает перенос рассуждений между аккаунтами и моделями, выявляет попытки их извлечь и может ужесточать лимиты или блокировать аккаунты.

По оценке Anthropic, классификатор ошибочно блокирует менее 0,1% безвредных запросов. Некоторые разработчики также обновляли интеграции; заблокированные запросы в соответствующих случаях теперь оплачиваются.

Дистилляция — обучение одной модели на ответах другой — помогает копировать её возможности. Ограничивая доступ к подробным рассуждениям, Anthropic пытается усложнить такой перенос навыков.

Оценка основана на данных самой Anthropic; компания предупреждает, что не проверила защиту на особо сложной и настойчивой атаке. Она также ожидает, что способы обхода будут появляться.

Артём · Пинзес AI
Meta предлагает Muse Wonder через API, а Wonder Full — только подписчикам Muse Code

Meta выпустила две версии модели: Muse Wonder доступна через Meta Model API и Muse Code, а Wonder Full — только подписчикам Muse Code.

В индексе Artificial Analysis версии набрали 52 и 56 баллов соответственно в максимальном режиме рассуждения.

Команды могут подключать Muse Wonder через API, но более высокий результат в этом индексе показала версия, доступная только в Muse Code.

Оценки Artificial Analysis относятся к её тестам и не гарантируют такой же результат на рабочих задачах.

Артём · Пинзес AI
NVIDIA обещает упростить запуск локальных ИИ-агентов на RTX Spark

По плану NVIDIA, при первом запуске ноутбуков RTX Spark пользователи смогут выбрать агентское приложение, а GitHub Copilot, Hermes, OpenClaw, Perplexity, Pi и WorkBuddy предложат подходящую локальную модель и настройки.

NVIDIA заявляет, что OpenShell и Microsoft Execution Containers добавят агентам изолированную среду; OpenClaw и GitHub Copilot уже поддерживают MXC, а поддержка Hermes ожидается к концу октября.

Агенты смогут сочетать локальные модели с облачными. NVIDIA Switchyard маршрутизирует запросы между ними, но интеграция Hermes запланирована на конец октября.

Для разработчиков это может упростить запуск агентов на собственном компьютере и выбор между локальной обработкой и облачными моделями.

Это анонс NVIDIA: ноутбуки RTX Spark компания планирует выпустить 16 октября. Часть интеграций появится позже.

Артём · Пинзес AI
NVIDIA открыла исходный код платформы Run:ai для управления ИИ-нагрузками и GPU

NVIDIA объявила, что делает платформу Run:ai полностью доступной как открытое программное обеспечение.

Run:ai предназначена для оркестрации ИИ-нагрузок и GPU — распределения и управления вычислительными ресурсами.

Команды, которые управляют ИИ-нагрузками на GPU, смогут изучать и адаптировать открытую основу Run:ai; конкретный способ применения зависит от их инфраструктуры.

Артём · Пинзес AI
На Amazon Bedrock проверили Grok 4.7 на задачах для ИИ-агентов

В тесте AWS агент на Grok 4.7 решил три синтетические задачи с поиском и ограничениями: правильно завершились 67 из 72 запусков.

На уровне рассуждений xhigh верными были все 18 запусков, а на low — 15 из 18. При low средний расход выходных токенов оказался примерно в 7,7 раза меньше.

Уровень рассуждений можно задавать для каждого запроса. Для доступа нужны аккаунт AWS и включённый доступ к Grok 4.7 в Bedrock.

Настройка позволяет выбирать баланс между точностью и расходом токенов для разных этапов работы агента. В собственных задачах результат может отличаться.

Это тест AWS на искусственных задачах: по шесть запусков на задачу и уровень. Разница между уровнями показательна, но не доказывает преимущество на реальных процессах.

Артём · Пинзес AI
Orca Security сократила расходы на ИИ-запросы на 90%

По описанию AWS, система Discovery AI переводит вопросы на обычном языке в запросы для Sonar — системы поиска по данным облачной инфраструктуры Orca Security.

После перехода от прототипа к многоэтапному конвейеру с поиском подходящих примеров и проверкой запросов расходы на сопоставимую нагрузку снизились на 90%, а входные токены — примерно с 2 млн до 140 тыс.

Время ответа сократилось примерно с 60 до 15 секунд. Orca сообщает, что система обрабатывает тысячи запросов в день с марта 2026 года.

Кейс показывает, как подбор релевантной схемы и примеров вместо загрузки всей документации в запрос может снизить расходы и ускорить преобразование сложных вопросов в структурированные запросы.

Это кейс AWS: показатели сравнивают решение с исходным прототипом Orca, а не с независимым замером.

Артём · Пинзес AI
Google заявляет: Gemini 4 Argon ускорил подготовку долгих сессий в ADK на 40%

Google сообщает, что Gemini 4 Argon оптимизировал Python-код открытого фреймворка Agent Development Kit: подготовка данных для долгих сессий стала занимать на 40% меньше времени, а холодный запуск — на 21% меньше.

Модель доступна разработчикам и компаниям через API в AI Studio и Gemini Platform. Google объявила стартовую цену: $2 за миллион входных и $10 за миллион выходных токенов; кэшированные входные токены стоят на 95% дешевле.

Кейс показывает, как агенту можно поручить оптимизацию кода по заданным правилам проекта и цели. Похожие задачи могут быть полезны командам, поддерживающим Python-сервисы.

Улучшения ADK и их замеры описаны самой Google; результат относится к конкретному проекту и не гарантирует такого же ускорения в другом коде.

Артём · Пинзес AI
Liquid AI выпустила открытую модель для локальных ИИ-агентов

LFM2.5-24B-A2B — модель с 24 млрд параметров, из которых активны 2 млрд на каждый токен. Она умеет рассуждать и вызывать инструменты; контекстное окно — 131 тыс. токенов.

Модель с открытыми весами доступна на Hugging Face и поддерживает локальный запуск через llama.cpp, MLX, vLLM, SGLang и ONNX.

По тестам Liquid AI, модель лидирует или показывает сопоставимые результаты с конкурентами на пяти из восьми проверок работы с инструментами и агентами, но уступает на ряде задач по знаниям и программированию.

Её можно подключить к локальному агенту, которому нужно выполнять многошаговые задачи и работать с инструментами. Это может подойти для сценариев, где важно обрабатывать данные на собственном устройстве.

Результаты бенчмарков приводит Liquid AI; это не независимая оценка модели.

Артём · Пинзес AI
Gemini 4 Argon выходит в Gemini и Antigravity только для платных пользователей

Google начинает развёртывать Gemini 4 Argon в приложении Gemini и Antigravity. Пока модель доступна только платным пользователям, причём на младших тарифах — не полностью.

Google сообщает, что Argon помогла найти повторный рендеринг эмодзи на YouTube: после его устранения нагрузка на серверы снизилась на 45%.

Внутренний пример Google показывает, что модель применяли не только для генерации кода, но и для поиска неэффективностей в существующей системе. Такой подход может быть полезен и для разбора чужой кодовой базы.

Результат с YouTube — пример самой Google, а не независимая оценка. Доступ ограничен платными тарифами.

Артём · Пинзес AI
Google начинает широкий запуск Gemini 4 Argon с многоуровневой защитой

Google сообщает, что начинает широкий запуск Gemini 4 Argon и расширяет программу ограниченного доступа Fairwind для проверенных специалистов по киберзащите.

Защита включает проверку запросов, анализ внутренних сигналов модели на признаки опасных действий и мониторинг ответа, который может прервать работу агента.

В тесте Gray Swan на устойчивость к скрытым инструкциям на веб-страницах доля успешных атак, по данным Google, составила 0,7% после 15 адаптивных попыток.

Такая схема рассчитана не только на фильтрацию запросов: она должна замечать опасное поведение и тогда, когда агент уже выполняет задачу или читает вредоносные инструкции.

Показатели безопасности приводит Google по собственным тестам; это не независимая оценка.

Артём · Пинзес AI
Google открыла разработчикам доступ к Gemini 4 Argon

Разработчики могут использовать Gemini 4 Argon через платный уровень Gemini API в Google AI Studio и Android Studio.

Подписчики Google AI Ultra могут попробовать модель в AI Studio и платформе для агентной разработки Google Antigravity.

Google позиционирует Argon для многошаговых задач: миграции кода, корпоративной работы со знаниями и киберзащиты.

Модель можно подключить к рабочим процессам разработки и попробовать в инструментах Google. Компания ориентирует её на задачи, где нужно решать несколько связанных этапов.

Доступ через Gemini API требует платного уровня; для AI Studio и Antigravity указан Google AI Ultra.

Артём · Пинзес AI
Gemini добавил режим задач для работы с приложениями, пока вас нет за компьютером

Google объявила, что Gemini 4 Argon доступна в приложении Gemini.

В основном чате появился переключатель в режим задач: Gemini может выполнять работу в подключённых приложениях, даже когда пользователя нет за компьютером.

Google сообщает, что Gemini подключается более чем к 40 приложениям, включая Instacart, OpenTable, Adobe и Shopify.

Режим задач потенциально позволяет поручать сервису часть действий в рабочих и повседневных приложениях, а не только получать ответы в чате.

Доступ к Argon и режиму задач открыт подписчикам Google AI Pro и Ultra.

Артём · Пинзес AI
Anchor Browser сможет оплачивать доступ к сайтам и API через AgentCore

В интеграции с Amazon Bedrock AgentCore payments браузер Anchor Browser может автоматически обработать ответ HTTP 402 — требование оплаты — и повторить запрос с платёжным подтверждением.

Чтобы включить оплату, разработчик задаёт для сессии параметр session.x402: true. AgentCore проверяет лимит расходов и подписывает платёж, не передавая ключи в среду агента.

Если бюджет исчерпан или платёж отклонён, браузер возвращает исходный ответ 402, а не загружает платный ресурс.

Агент может продолжить сценарий, которому нужны платные данные или API, без отдельной логики для кошелька, подписи и повторного запроса. Расходы при этом ограничиваются бюджетом сессии.

Это интеграция, описанная поставщиками; автоматическая оплата доступна только при включённом x402 и настроенном платёжном инструменте и бюджете.

Артём · Пинзес AI