Опять в СМИ громкий заголовок: «ИИ впервые атаковал сам». Сначала FT, дальше все остальные, дальше русские агрегаторы, где из формулировки «почти автономная» аккуратно выпало слово «почти».

Открываем первоисточник. Израильская Dream нашла выложенный в открытый доступ рабочий каталог атакующего: 160 мегабайт, 1395 файлов, четыре дня июля, до восьми субагентов параллельно, 12 волн, госсистемы в Азии. Всё правда. Находка отличная.

Только читать её надо до конца.

Ни одного 0-day в атаке нет. Зашли через незакрытый API, отдающий базу сотрудников вообще без авторизации. Через отладочные эндпойнты, забытые в проде и выдающие валидную сессию на любой запрос. Через пароли, угаданные по шаблону из логина сотрудника.Через SSO, который доверяет сессии портала без MFA. 84 из 85 взломанных аккаунтов прошли внутрь.

Отдельно любопытна единственная попытка применить ИИ к поиску новых уязвимостей в коде. Фреймворк выкачал из документации учебные проекты интеграции с национальным SSO и прогнал по ним собственный статический анализатор на локальной модели. Нашёл пару потенциальных проблем — и ни одна не подтвердилась на живой системе. Ноль пересечений с финальным списком. Всё, что реально сработало, ищется обычным блэк-бокс-тестом за день.

Гардрейлы модели, кстати, обошли одной фразой: активность подавалась как «авторизованный пентест». Модель отказывалась ровно до тех пор, пока ей не сказали, что можно. Какая это была модель — Dream установить не смогла и пишет об этом прямо. Что не мешает заголовкам объяснять произошедшее опасностью открытых весов.

Теперь про то, кто публикует. Dream основал в 2023 году Шалев Хулио — сооснователь и бывший гендиректор NSO Group, той самой, с шпионским Pegasus и Entity List Минторга США. Вместе с Себастьяном Курцем, ушедшим с поста канцлера Австрии на фоне коррупционного расследования. Следом в Dream перешла дюжина людей из NSO. В июне компания подняла $260 млн при оценке $3 млрд — продаёт правительствам «суверенный ИИ» для защиты.

29 июля Dream публикует колонку «Правительства не готовы к автономным ИИ-атакам». 12 августа выходит отчёт, доказывающий колонку, — с эксклюзивом в FT. Вывод отчёта: защита должна стать AI-native и вероятностно рассуждать о вероятных путях атаки. То есть купите то, что мы продаём.

Вот только по их же собственным артефактам госконтур вскрыли не машиной. Его вскрыли тем, что в продакшене остались отладочные ручки. От этого не спасает суверенный ИИ за три миллиарда. От этого спасает код-ревью.

Продавали, естественно, заголовок.

@gostev_future

🔥 Нашёл отличный бесплатный ресурс по Harness Engineering - тому, что делает coding agents реально надёжными

Курс посвящён не очередному «как написать хороший промпт», а инженерии окружения вокруг Codex, Claude Code и других AI-агентов.

Разбирают:

* почему сильные агенты всё равно проваливают задачи;
* как сохранять контекст между длинными сессиями;
* зачем нужны AGENTS.md, feature_list.json и progress-файлы;
* как не дать агенту объявить задачу завершённой слишком рано;
* как встроить тестирование, observability и контроль в сам harness.

Есть теория, практические проекты и готовые шаблоны для репозиториев. Причём среди базовых материалов авторы прямо ссылаются на подходы OpenAI и Anthropic.

Главная идея очень правильная:

не пытаться бесконечно делать модель умнее промптами, а построить вокруг неё систему, в которой ошибаться сложнее.

И да - есть русская версия.

https://walkinglabs.github.io/learn-harness-engineering/ru/

Leandro: AI SRE Agent with Prompt Injection Sandbox

Leandro is an open-source AI SRE agent that watches Kubernetes clusters, diagnoses pod incidents autonomously, and communicates findings over Google Chat. Built with a security-first architecture, it runs inside a NixOS VM on libvirt/KVM with default-deny egress via nftables, a tinyproxy allowlist for outbound HTTP, and a hard tool denylist specifically designed to block prompt injection attacks. Since the agent reads attacker-influenceable text like pod logs and cluster events by design, every capability is fenced by an explicit, auditable boundary, making it a practical reference implementation for secure AI agent deployment in production infrastructure.

#AISecurity #Kubernetes #PromptInjection #SRE #ApplicationSecurity

https://github.com/SoulKyu/leandro

Гений обклеил автомобиль пленкой с капчей, чтобы обманывать ИИ-камеры на дороге — это сработало.

Для теста он взял Toyota Yaris 2009 года, сгенерировал пленку с хаотичным узором и проехал перед камерой с нарушениями.

В итоге система не смогла распознать автомобиль, потому что у ИИ не получилось его идентифицировать.

На проект парень потратил целый год, но одержал победу. Шах и мат, железяки.

@techmedia

Даже гууглу пришлось адаптироваться, когда вышел закон о русификации надписей............