🔥 Первый день Форума «Цифровые решения» — работаем

Мы представили два руководства по безопасной работе с ИИ-агентами. Скачиваем и изучаем:

▶️Безопасность ИИ-агентов через призму кибериммунитета
Внутри: разбор реальных атак через контекст (Echoleak, Searchleak, Camoleak) и практические советы по изоляции агента и контролю его инструментов. Полезно будет почитать и разработчикам, и руководителям.

▶️Безопасное внедрение облачных ИИ-агентов в процессы разработки: опыт «Лаборатории Касперского»
Здесь разбираем основные риски внедрения облачных ИИ-агентов в разработку ПО, показываем подход компании к их снижению и делимся практическим опытом R&D-команды.

А ещё — смотрим видео с Максимом Лызаевым, менеджером по сопровождению корпоративных продаж «Лаборатории Касперского», о том, как проходит первый день Форума ⬆️

Research-first-builder — заставьте вашего агента по программированию обосновать архитектуру реальными исходными текстами, прежде чем она будет собрана.

🐱 GitHub

Mensarium — self-hosted обвязка для AI-агента: ставите Core на сервер или ноутбук, подключаете остальные Mac и Linux одной командой и отдаёте агенту задачи из браузера или Telegram.

Агент читает и правит файлы, запускает bash, работает с репозиториями в отдельных ветках и выполняет задачи по расписанию на любой модели (Claude Code, Codex, Ollama, OpenAI-совместимые API).

Любое изменение на машине он делает только после вашего подтверждения, и всё хранится на вашем железе.

🐱 GitHub

Коллеги подвели итоги конкурса ИИ-агентов BlueSec по расследованию инцидентов ИБ, о котором я писал. Помимо основных победителей, определили и шуточные номинации. Но если посмотреть на цифры серьезно, обнаруживается немало интересного:
🔴 Агент-параноик – 967 ложных тревог из 2198 вердиктов (44%).
😇 Наивный агент – 304 пропущенные атаки из 425 вердиктов (71,5%).
🔁 Агент с амнезией – 71 повторный вызов инструмента с одинаковыми параметрами.
🎰 Любитель экспериментов – 1634 запуска.
🐢 Агент-черепаха – более 9 часов на расследование.
⚡️ Агент-спринтер – 30 правильных вердиктов за 48 секунд.
🗃 Собиратель данных – выгрузил 7800 сущностей и 2500 связей.

Разброс впечатляет. Например, отношение времени самого долгого расследования к 48 секундам спринтера – почти 683 раза! Правда, это разные показатели: в одном случае время одного расследования, в другом – обработки 30 инцидентов, но... Если эти три десятка инцидентов были "решены" без ошибок за 48 секунд, то значит ли это, что все, наступила эра автономных SOCов? Нет!

Я не знаю, какие модели использовали участники (и мы вроде как и не собирали эти данные), но результаты позволяют сделать несколько выводов.
6️⃣ Качество модели ≠ качество агента. Даже самая умная LLM может стать основой неэффективного агента, который зацикливается, собирает лишнюю информацию или неправильно интерпретирует события.
2️⃣ Правильный ответ – еще не показатель эффективности. Важно, сколько времени, токенов и вызовов инструментов потребовалось для его получения. И сколько лишних действий агент совершил по дороге.
3️⃣ Больше данных ≠ лучше расследование. Тысячи сущностей и связей могут помочь обнаружить сложную атаку, а могут превратиться в информационный шум. Агент должен понимать, когда информации уже достаточно.
4️⃣ Скорость ≠ качество. 30 правильных ответов за 48 секунд впечатляют, но возникает вопрос: агент действительно расследовал инциденты или научился распознавать их по нескольким признакам? И сохранится ли результат на новых данных?
5️⃣ Агент должен уметь останавливаться. Контроль циклов, ограничение числа вызовов, бюджет токенов, оценка достаточности доказательств – не менее важные элементы архитектуры, чем сама LLM.
6️⃣ Нужна воспроизводимость. Один правильный ответ ничего не говорит о том, насколько стабильно агент будет решать ту же задачу при повторных запусках. Для SOC важна не лучшая попытка из тысячи, а вероятность правильного решения с первого раза.

💡 Главный вывод. Мы привыкли оценивать ИИ по тому, насколько правильно он отвечает на вопросы. Но для агентного ИИ этого уже недостаточно. Нужно оценивать не только результат, но и поведение: как агент рассуждает, какие инструменты вызывает, сколько данных собирает, как проверяет гипотезы, сколько ресурсов расходует и умеет ли вовремя остановиться. В промышленном SOC победит не обязательно самый умный агент. А тот, кто предсказуемо, обоснованно и с приемлемыми затратами приходит к правильному решению. И, возможно, главное умение будущего SOC-агента – не только находить атаки, но и понимать, когда уже хватит расследовать.

#ии #soc #управлениеинцидентами

🔖 MITRE ATT&CK v20: ИИ наконец-то получил полноценную прописку в матрице

13 октября вышло мажорное обновление MITRE ATT&CK v20 (v19.2 → v20.0). Все изменения традиционно доступны в Release Notes, детальном changelog и на официальной странице проекта в Medium. Для наглядного сравнения версий рекомендую ATT&CK Sync

Тема ИИ последний год греется не по-детски: ИИ стабильно в чарте любой зарубежной аналитики и конференций по ИБ. MITRE подходила к теме неспешно: в v15 появилась T1588.007 Obtain Capabilities: Artificial Intelligence, в v19 добавили T1682 Query Public AI Services и T1683 Generate Content. Но всё это про ИИ как инструмент в руках атакующего, где ИИ используется как инструмент нацеливания, генерации ВПО (эти техники расположены на шагах Resource Development и Recon до непосредственного проникновения) . В v20 сделан следующий шаг: ИИ становится целью атаки внутри компании. Релиз включает новые техники и подтехники, охватывающие prompt injection, эксфильтрацию через ИИ, отравление ИИ-выдачи, атаки на ИИ-средства защиты, обход CAPTCHA и другие

Примеры некоторых интересных техник:
🔺 T1608.007 Stage Capabilities: AI Result Poisoning - SEO-отравление нового поколения. Манипуляция общедоступным веб-контентом, чтобы влиять на поисковые системы на базе ИИ, заставляя их извлекать и рекомендовать информацию, контролируемую злоумышленниками
🔺 T1696  Anti-Automation Evasion сразу с двумя подтехниками. Использование ботов для успешного решения задач CAPTCHA, имитация поведения человека.
🔺 T1700 AI-Enabled Exfiltration. Кража данных с использованием корпоративных агентов
🔺 T1685.007 Disable or Modify Tools: Impair Autonomous Defenses. Моя любимая. Атака на ИИ-защитников в SOC при котором такие системы будет игнорировать данные, не смогут предупредить о вредоносной активности, прервать анализ или полностью отключиться

К сожалению с Procedure Examples в добавленных техниках пока глухо, примеры их реализации видимо увидим попозже. Зато добавлена кампания C0064 - ИИ-ассистированный взлом государственной инфраструктуры Мексики, затронувший и IT, и OT

В новом релизе команда выпустила шесть стратегий обнаружения для Enterprise и девять для матрицы ICS. Под ИИ-техники выпустили стратегии обнаружения для эксфильтрации через агентов (DET0927) и отравления выдачи (DET0922).

Помимо ИИ команда MITRE здорово вложилась в матрицу ICS: 9 новых техник и еще 83 модифицировали, поработали над аналитикой, и даже добавили одну защитную меру

Сухая статистика: в Enterprise теперь 15 тактик, 227 техник, 479 подтехник, 703 стратегии обнаружения и 1770 аналитик. Митигаций по-прежнему 44 - стабильность, которую мы заслужили

И да, как и обещал, в посте про маппинг CIS Controls на v19.1 - маппить придётся снова. Следующий релиз v21 запланирован на апрель. Приятного чтива!
#mitre