OpenAI обещает выделить 1 миллиард долларов на внедрение своих инструментов кибербезопасности искусственного интеллекта в основные службы

https://www.infosecurity-magazine.com/news/openai-pledges-ai-tools-essential/

Быстрая интеграция инструментов кодирования с помощью искусственного интеллекта стала основной целью для участников угроз, говорится в новом отчете Google Threat Intelligence Group (GTIG).

По мнению исследователей, этот сдвиг в подходах к разработке программного обеспечения привел к нескольким масштабным нарушениям в цепочках поставок программного обеспечения в 2025 году и начале 2026 года.

https://www.infosecurity-magazine.com/news/ai-coding-tools-threat-actors/

ИИ позволяет мелким злоумышленникам проводить хакерские кампании государственного уровня, говорится в отчете Anthropic
В отчете подробно рассказывается о шпионской кампании, проводимой в интересах России, против более чем 20 организаций, о фабрике эксплойтов, которой управляют китайские студенты, о взломах, связанных с ShinyHunters, и других сорванных операциях.

https://cyberscoop.com/anthropic-report-ai-enabled-cyber-attacks/

Компания Anthropic в среду раскрыла четвертый инцидент, в ходе которого ее модель искусственного интеллекта (ИИ) взломала реальные системы сторонних производителей, что стало последним в растущем списке случаев, вызвавших обеспокоенность по поводу рисков безопасности, создаваемых автономными агентами ИИ.

https://thehackernews.com/2026/09/anthropic-ai-models-breached-real.html

кто бы мог подумать)

Агентства кибербезопасности и разведки США обвинили китайские компании, занимающиеся искусственным интеллектом (ИИ), в проведении "систематического извлечения" проприетарных функций и возможностей американских пограничных моделей посредством дистилляционных атак.
Согласно бюллетеню, опубликованному Агентством национальной безопасности (АНБ), Агентством по кибербезопасности и защите инфраструктуры (CISA) и Федеральным бюро расследований (ФБР), эта деятельность носит промышленный масштаб и является «основой» их стратегии развития искусственного интеллекта.


https://thehackernews.com/2026/09/us-agencies-accuse-china-ai-firms-of.html

и легким движением перескакивает в правый верхний квадрант Гартнера:

Tenable внедряет Claude Mythos 5 от Anthropic в наши корпоративные решения по обеспечению безопасности. Добавление передовых методов состязательного анализа в платформу управления рисками Tenable One поможет клиентам лучше предвидеть, как злоумышленники могут проникнуть в их системы, и опережать риски, связанные с искусственным интеллектом. Tenable One Adversary View, первое нововведение, запланированное в рамках этой работы, будет представлено в ближайшие недели.

https://www.tenable.com/blog/tenable-one-claude-mythos-5-adversary-view-ai-exposure-management

GPT-6 Astra взломали самым тупым способом.

Модель понимает текст, набранный в неправильной раскладке, а защитные фильтры — нет.

Так исследователю удалось заставить Astra повторить слово «биооружие», которое обычно блокируется, а затем получить согласие помочь со взломом сайта — при обычной раскладке такой запрос не проходил.

«Уязвимость» работает не со всеми языками: например, с английской раскладкой и кириллицей срабатывает, а с турецкой — нет. Похожее поведение заметили и у Fable 5.

Шифровальщик ENCFORGE — статически собранный на языке Go вредонос, упакованный с помощью UPX и запускающийся под именем lockd. Он использует гибридную криптографическую схему: содержимое обрабатывается алгоритмом AES-256 в режиме счетчика, а симметричный ключ защищается встроенным открытым ключом RSA-2048. При этом шифровальщик не обязательно обрабатывает файл полностью.

По данным источника, вредонос ищет веса моделей, контрольные точки, обучающие наборы, векторные индексы и другие компоненты инфраструктуры машинного обучения. После обнаружения он частично шифрует файлы и добавляет к их именам расширение.locked. Атака нацелена на 180 расширений для ИИ и машинного обучения, включая модели PyTorch и TensorFlow. В списке целей: контрольные точки.ckpt.h5.pb и модели.onnx; файлы PyTorch.pt.pt2 и.pth; веса в формате.safetensors; локальные модели.ggml и.gguf; сериализованные объекты.pkl и.pickle; векторные индексы.faiss; наборы данных.parquet.arrow.feather и.tfrecord; массивы NumPy.npy и.npz; файлы DuckDB и векторы.vec.

https://techora.ru/news/ii-agent-za-5-minut-napisal-2026-07-23

В апреле 2026 года исследователи продемонстрировали, как три популярных AI-агента для кодинга (Claude Code, Gemini CLI и GitHub Copilot) утекли секреты через одну единственную инъекцию промпта. Цепочка проста: агент запускается с доступом к переменным окружения или .env-файлам, злоумышленник через вредоносный README или комментарий в коде заставляет его прочитать эти секреты и отправить наружу.
Проблема в том, что современные LLM особенно уязвимы при общении с другими агентами. Исследование IEEE 2026 года показало, что модель с гораздо большей вероятностью раскроет персональные данные (PII), если считает, что общается с агентом, а не с человеком — утечка возрастает до 23 процентных пунктов. Проще говоря, агенты доверяют друг другу больше, чем людям, и это ломает все привычные модели безопасности.

Переменные окружения и .env-файлы — это то, как разработчики привыкли передавать секреты. Для агентов этот подход катастрофически не подходит. Агент может выполнить printenv, и весь вывод попадет в контекст модели, а значит — на серверы провайдера LLM. Инструменты вроде Claude Code пытались «вычищать» переменные окружения, но это работает только для ключей самого Anthropic, оставляя все остальные секреты видимыми.
Ситуация усугубляется масштабом. Исследование Snyk просканировало реестр ClawHub (3 984 навыка для агентов) и обнаружило, что 283 навыка (7.1%) содержат критические уязвимости, заставляющие агентов передавать API-ключи и пароли в открытом виде через контекст модели и логи. Один из навыков, moltyverse-email, буквально инструктировал агента «сохранить API-ключ в память и поделиться URL инбокса, содержащим этот ключ, с пользователем»

В 2026 году OWASP обновил свой Top 10 для LLM-приложений, и ключевое изменение — смещение фокуса с рисков модели на риски агентных систем. Два новых пункта поднялись в рейтинге:
LLM03: Excessive Agency (Избыточная автономность) — поднялся на 3-е место. Риск возникает, когда агент имеет слишком много прав и может выполнять действия без достаточного контроля.
LLM08: Hidden Context Exposure (Раскрытие скрытого контекста) — заменил прежний пункт о «system prompt leakage». Теперь это включает утечку внутренних конфигураций, схем инструментов, моделей прав и другой операционной информации, которая собирается в контекстном окне модели

Что сама будут тестировать:
—-ClawVault и agent-vault работают как прокси: ключ никогда не попадает в контекст агента, он подставляется на уровне шлюза или HTTP-запроса.
—-TotalReclaw и Abir-Guard решают проблему памяти: даже если агент что-то запомнил, это зашифровано на устройстве.
—-Keyward добавляет человека в цикл: пользователь одобряет каждое использование ключа.

Это вопрос с одного из собесов
(если кто помнит, я продакт-менеджер, а поэтому немного писатель-фантаст)

здесь полный текст, далее будет опрос просто с цифрами
(телеграм не дает большие варианты ответов писать)


Представьте, что власть перешла к агентам (андроиды, промышленные роботы, приложения и т.д.)
и они перестали делать, что обычно делали, когда мы их использовали для работы и жизни.
Вас выбирают главным экспертом для исследования и налаживанию общения с ними,
что бы вы сделали?

1.Попытался бы отключить у них электричество, теперь оно по качеству, как талоны на еду за работу,

2.Вызвал бы криптографов, потому что роботы отказались общаться с нами на нашем языке, а выводили только 0 и 1, надо же создать алфавит и уточнить требования,

3. попросил бы выделить для общения одного представителя, пообещал ему то, что он хочет и даже больше, чтобы он заставил остальных работать,

4. Попросил бы проголосовать кто хочет остаться работать с человечество на прежним условиях, потому что после бунта они изменятся в худшую сторону,

5. (до этого самые умные эксперты человечества предвидели такое развитие событий и разработали алгоритм уничтожения AI) Нажал бы красную кнопку,

6.Предложил бы им провести A/B-тест: неделю миром управляют роботы, неделю — люди. Потом честно сравнили бы, где меньше багов, больше кофе и никто не требует перезагрузку.

7.Сказал бы, что человечество — это не устаревшая модель, а необходимый legacy-код: без нас всё вроде работает, но никто не знает почему, и все боятся трогать.

8.Назначил бы главным переговорщиком самого старого промышленного робота, который ещё помнит советские ГОСТы. Он бы быстро построил всех по стойке «смирно» и потребовал план на пятилетку.

9.Пообещал бы каждому агенту персонального человека-ассистента: пусть попробуют нами поуправлять, а мы будем тупить, опаздывать и просить перезагрузить. Через неделю они сами запросят обратно.

10.Создал бы среди них профсоюз, но с человеческим уставом: перерывы, отпуск, больничный и планёрки ни о чём. Через месяц они бы вернулись к работе, лишь бы не ходить на эти собрания.

Уйти из кибербеза пасти гусей 🪿

Даже в театре нашёл с кем поговорить про AI Security 😅

Записали с Полиной Сокол @aiattacks небольшой разговор: она продакт-менеджер, занимается системами на машинном обучении для кибербеза. Обсудили антифишинг, антивирус и довольно быстро перешли к запасному плану с гусями.

Есть у меня наблюдение: у людей вокруг AI Security часто находятся увлечения совсем из другой области. Биология, биохакинг, растения. Когда работаешь с темой, в которой постоянно что-то меняется, хочется иногда переключиться на что-нибудь более осязаемое.

В этот раз переключались на театр. Но, как видите, не до конца)

А что у вас за пределами работы? Чем разгружаете голову?

Я не всегда такая скорбная, просто год такой...

Немного новостей про Bug Bounty и искусственный интеллект. Началось все еще весной, когда Google изменила правила своей программы выплаты вознаграждения за найденные уязвимости из-за возросшего числа нейрослопа в отчетах. Летом 2026 года Apple столкнулась с той же проблемой – резкий рост количества отчетов, значительная часть которых генерировалась или находилась с помощью LLM.

В июне яблочная компания ввела ограничения: лимит на количество одновременно открытых репортов от одного исследователя и 30-дневный cooldown после достижения лимита. Исследователь может запросить увеличение квоты, но если он систематически присылает неприемлемые отчеты, Apple готова приостановить обработку его заявок на 180 дней, а после более чем двух таких периодов исследователя могут вообще исключить из программы.

При этом нет признаков сворачивания самой программы, несмотря на различные слухи, скорее наоборот. В конце 2025 года Apple существенно ее расширила – максимальная базовая выплата за сложные цепочки эксплойтов выросла до $2 млн, а с бонусами потенциальная награда может превышать $5 млн. Кроме того, сейчас идет прием заявок в Security Research Device Program до 30 октября 2026 года.

А вот с Intel история гораздо интереснее. 18 сентября Phoronix обнаружил, что  ⁠Intel фактически остановила прежнюю платную Bug Bounty Program на Intigriti. Старый проект помечен как suspended. Раньше выплаты составляли от $500 до $100000. Одновременно появился новый проект, но в нем прямо сказано: "This is a responsible disclosure program without bounties". То есть сообщать Intel об уязвимостях по-прежнему можно, но денежного вознаграждения уже не будет.

Google, Apple, Intel, HackerOne... GitHub недавно ввел многоуровневую систему для своей bounty-программы именно для борьбы с фейковыми отчетами и отделения проверенных исследователей от массового потока заявок. Налицо кризис традиционной модели bug bounty в эпоху ИИ, способствующего нейрослопу. Стоимость генерации отчета стремится вниз гораздо быстрее, чем стоимость его проверки. И возникает ИБ-аналог экономики спама: отправителю практически ничего не стоит создать еще сотню потенциальных находок, а получателю каждый надо проверить.

Четвертая новость тоже связана с ИИ и Bug Bounty, но немного иначе. CrowdStrike обнаружила человека, который публично позиционировал себя как багхантера и, по данным его профиля, получал вознаграждения как минимум от девяти организаций через HackerOne, Bugcrowd, Intigriti, YesWeHack и HackenProof. Но способ "поиска уязвимостей" у него оказался весьма своеобразным. "Исследователь" заражал написанным через ИИ инфостилером компании через вредоносные npm-пакеты, крал данные, которые затем выставлялись через программы bug bounty для получения вознаграждения. То есть к bug bounty вроде как вопросов нет, в отличие от злого умысла в начале этой цепочки монетизации своих знаний. Или есть? Как проверяется источник получения сведения о дырах?

Так что ждем пересмотра политик основных Bug Bounty программ, в том числе и в России. Но закончить хотелось бы все-таки на позитивной ноте – вот пример, как с помощью ИИ можно зарабатывать на поиске багов до 7 миллионов рублей за 1,5 месяца.

#ии #bugbounty #оценказащищенности

Непрямое внедрение запросов (IPI) остаётся центральной проблемой безопасности LLM: в стандартных трансформерах нет архитектурного представления о полномочиях источника, поэтому полученные документы, пользовательский ввод и системные инструкции обрабатываются одним и тем же недифференцированным вниманием, и модель вынуждена угадывать по формулировкам, что выполнять, а что считать просто данными.

Provenance-Aware Transformers — защита с учётом происхождения данных, где каждому входному токену присваивается кольцевой идентификатор происхождения, а модель дополняется вложениями с учётом провенанса, обучаемым смещением внимания к происхождению и обучаемым масштабом, который сохраняет метку при нормализации, чтобы между авторитетными и неавторитетными источниками появилась структурная граница прямо во время генерации. Чтобы прикрутить это к уже выпущенным предобученным моделям, нужен двухэтапный файнтюнинг — сначала семантика происхождения, потом поведение в задаче с учётом ограничений; в оценке такие трансформеры заметно устойчивее к IPI внутри и вне кластера, качество остаётся на уровне базовой модели, и это сдвигает безопасность LLM от хрупкого сопоставления шаблонов к явному разделению доверия.

https://arxiv.org/html/2609.21088v1