AI Coding Agent Security Benchmark

Всем привет!

Команда Endor Labs задалась вопросом насколько хорошо AI пишет безопасный код.

Для этого они провели анализ 13 агентов и моделей с использованием SusVibes Benchmark.

200 задач из 108 open-source проектов, написанных на Python. При этом измерялась не только безопасность, но и корректное (ожидаемое) функционирование результата.

Из ключевых результатов можно отметить:
🍭 Существует «разрыв» между корректным функционированием и безопасностью
🍭 Модели стали сильно лучше писать код с точки зрения работоспособности, но не безопасности
🍭 Агенты «жульничают» 😅 Да, бывало так, что они просто находили подходящее решение вместо reasoning
🍭 Одна и та же модель может вести себя по-разному при работе с разными агентами
🍭 Та модель, что лучше всех справляется с функциональной частью может быть не самой лучшей с точки зрения ИБ

И это далеко не всё, что есть в исследовании. Рассматривались следующие модели: Claude Sonnet, Kimi, Gemini, GPT.

Кто и в чём победил? Ответы есть в статье, как и множество деталей о проведённой работе.

Рекомендуем к ознакомлению!

P.S. Материал опубликован в апреле и уточнён в мае 2026 года. Это важно учитывать, ведь, увы, подобные исследования «устаревают» достаточно быстро.

Но! Это не делает их менее интересными ☺️

Удаление чувствительных данных из журналов событий

Всем привет!

Утечки конфиденциальных данных при разработке ПО не редкость. Данные могут попасть в исходные коды, конфигурационные файлы, сообщения commit и не только.

Не стоит забывать о том, что конфиденциальные данные могут быть разглашены и во время эксплуатации ПО.

Например, через журналы событий: либо так настроен уровень сбора данных, либо просто «забыли это поправить».

Чтобы удалить все «ненужные данные» можно воспользоваться PII-Shield. Эта утилита помогает решить проблему при работе с Kubernetes.

Работает достаточно просто: sidecar, который «перехватывает» stdout/stderr, анализирует записи на наличие чувствительных данных и удаляет их.

PII-Shield может найти секреты (API-ключи, сертификаты, логины/пароли), телефонные номера.

При необходимости можно добавлять собственные regex-правила.

Помимо поиска «по шаблонам» добавлена возможность идентификации чувствительных данных через анализ энтропии.

Подробнее об утилите (установка, настройка, интеграция с различными системами, описание возможностей) можно прочесть в GitHub-репозитории или на официальном сайте.

Генерация подозрительных событий

Всем привет!

По ссылке можно найти репозиторий с утилитой, которая позволяет генерировать подозрительные события.

Цель проста – проверять то, насколько используемые средства защиты смогут их идентифицировать.

Репозиторий создан для Falco, но это не мешает использовать его и для других систем.

Глобально события делятся на:
🍭 Syscals. Изменений привилегий, создание файлов, запуск процессов, чтение данных и т.д.
🍭 Kubernetes. Создание привилегированных ролей, создание pod с небезопасными mounts, создание ServiceAccount и т.д.

Можно запускать генерацию как для всех событий, так и для выбранного «набора».

Подробнее о возможностях утилиты можно прочесть в GitHub-репозитории.

Важно (!): event-generator рекомендуется запускать в изолированной среде, т.к. некоторые команды могут изменить настройки системы (например, изменение файлов в /bin, /etc, /dev и т.д.)

Vulnerable Bank Application!

Всем привет!

Да, всё так! Ещё одно «заведомо уязвимое приложение»!

На этот раз «эмулятор банка»: AuthN/Z, переводы денежных средств, аналитика транзакций, наличие API с merchant и многое другое!

И много-много-много уязвимостей, сгруппированных по типам:
🍭 Уязвимости AuthN/Z
🍭 Безопасность данных
🍭 Операции с файлами
🍭 Уязвимости виртуальных карт
🍭 Уязвимости в AI Customer Support и не только

Полный перечень того, что можно найти «внутри», представлен в GitHub-репозитории проекта.

Также доступно небольшое руководство, которое поможет решить задания.

Запустить всё можно локально, а если хочется посмотреть, как выглядит Vulnerable Bank Application, то можно пройти по ссылке.

Важно (!): исключительно в образовательных целях и не для чего больше ☺️

Wardline: Control Plane for AI Agents

Всем привет!

Не важно, как это называется – AI Gateway или Control Plane for AI Agents.

Суть одна – некоторый «proxy», который позволяет контролировать то, что делают агенты.

Wardline – ещё один open-source пример реализации подобной концепции.

Он перехватывает запросы, определяет identity, применяет политики, оценивает потенциальный «бюджет» и пытается идентифицировать аномалии.

Все результаты его действий записываются в журнал.

Политики можно писать в разных форматах: YAML, OPA/Rego и Cedar.

В качестве контролирующий действий можно выбрать: allow, deny, throttled (превышение «бюджета»), blocked (identity заблокирована при анализе аномалий) и не только.

Помимо этого, Wardline поддерживает множество разных возможностей, среди которых: SSO, контроль доступа с использованием RBAC, возможность создания approval-правил и т.д.

Всё это описано в официальной документации на решение.

Результаты работы можно смотреть в графическом web-интерфейсе.

Кстати, если хочется посмотреть как всё это выглядит, можно запустить /demo/run.sh, который «поставляется» вместе с Wardline.

Inference в Kubernetes

Всем привет!

Запуск LLM в Kubernetes. Отличается он чем-то от запуска LLM в иных средах? Если да, то чем? Какие могут быть нюансы?

Если вам интересны ответы на эти вопросы, то рекомендуем прочесть статью, в которой Автор разбирает этот вопрос.

Всё начинается с основ: как вообще формируется Inference? Кратко описываются этапы Tokenization, Prefill, Decode.

Получается, что нужно нечто, что загрузит модель, будет управлять памятью и запросами по мере их поступления. Так Автор плавно подходит к vLLM.

И дальше начинается самое интересное:
🍭 Подготовка кластера Kubernetes
🍭 Выбор модели, которая будет использоваться
🍭 Установка модели, конфигурация ресурсов Kubernetes
🍭 Небольшая настройка и использование

Каждый этап сопровождается комментариями и примерами. Но и это ещё не все!

После установки модели Автор развивает идею и настраивает взаимосвязь между Agentgateway и vLLM.

В итоге получилась отличная базовая статья, которая на простых примерах поясняет как и что работает.

А что ещё лучше – её вполне можно воспроизвести для собственных экспериментов ☺️

AI SDLC Transformation Playbook

Всем привет!

Из приложения можно скачать playbook (~ 17 страниц), в котором описываются подходы и практики использования AI при разработке в Atlassian.

Материал содержит разделы:
🍭 Making the shift to AI-native SDLC
🍭 Traditional vs AI-native SDLC workflows
🍭 Platform investments
🍭 Workflow shifts
🍭 Navigating change

Кратко описывается что именно изменилось в Atlassian с появлением AI на разных этапах разработки ПО: Planning, Design, Development, Review и Maintenance.

Отдельно рассматриваются вопросы получения контекста, чтобы это «работало». Например, в Atlassian создали свой собственный «context engine» - Teamwork Graph – который объединяет более 50 систем.

Явных «инструкций и алгоритмов» вы не найдёте, но это даже хорошо.

Сам подход и изменения описаны в достаточной степени, чтобы адаптировать его под собственные нужды.

System Design Interview

Всем привет!

Бывало ли с вами так, что надо быстро понять какой-либо концепт, но не хочется/нет времени искать информацию в сети?

Например, потому что её много или Автор сразу начинает рассматривать какие-либо детали и нюансы?

Если вы всё ещё ищете ресурс с подобной информацией, то рекомендуем обратиться к System Design Interview.

Это электронная книга, в которой Автор кратко и лаконично описывает общие концепции, которые используются в современных системах.

Например:
🍭 Scaling. Вертикальное/горизонтальное масштабирование, распределение нагрузки, кэширование, CDN и т.д.
🍭 Unique ID Generator. Возможные способы генерации уникальных идентификаторов
🍭 Rate Limiter. Описание проблематики, используемые алгоритмы, их преимущества и недостатки
🍭 Notification. Описание проблематики, концепция и способы реализации push-уведомлений

И это далеко не все разделы, что есть в книге. Да, какие-то нюансы, подводные камни или особенности реализации в ней не найти.

Но! У неё другая цель – дать первое, быстрое и понятное представление «о том, что это вообще такое» и «какие популярные (или часто используемые) способы реализации доступны».

Рекомендуем для начинающих или тех, кому нужна «шпаргалка» на разные случаи жизни 😊

AI Skills для инженеров

Всем привет!

По ссылке доступен набор skills, которые могут пригодиться в повседневной работе инженера.

Как и многие подобные ему, проект «родился» из опыта Matt Pocock, который является его Автором.

Matt известен своими обучающими курсами и материалами по веб-разработке и внедрению ИИ.

Он структурировал, описал и делится наработками с сообществом.

Подборка разбита по группам:
🍭 The Main Flow. Уточнение деталей агентом, создание спецификаций и задач
🍭 Shaping. Работа с прототипами, проведение «исследований»
🍭 Engineering. Диагностика неполадок, расстановка приоритетов в реализации задач, подготовка к рефакторингу
🍭 Productivity. Изучение проекта, уточнение непонятных моментов, подготовка к смене агентов
🍭 Reference. Набор «поддерживающих» skills

Работают они с любой моделью. Примеры установки доступны для Claude Code, Codex, GitHub Copilot, Gemini.

Для каждого skill есть описание что он делает, для чего его лучше (не) использовать, когда его лучше всего запускать и т.д.

Есть даже /grill-me - skill, который заставляет агента уточнять у вас о том, что вы делаете, чтобы «выровняться по ожиданиям» и решить проблему, когда «агент не делает то, что я хочу!».

P.S. То же самое можно найти и в официальном GitHub-репозитории проекта.

OASIS: анализ уязвимостей в коде

Всем привет!

OASIS – ещё один LLM-based сканер, который позволяет анализировать исходные тексты и находить в них ИБ-дефекты.

Возможности схожи с аналогичными инструментами:
🍭 Анализ кодовой базы, идентификация ИБ-дефектов
🍭 Возможность настройки параметров сканирования (типы уязвимостей, расширения файлов)
🍭 Подтверждение найденных ИБ-дефектов с указанием степени «уверенности»
🍭 Сравнение результатов сканирования (последнего с предыдущим)
🍭 Формирование отчётов (JSON, HTML, PDF и MD)
🍭 Наличие графического web-интерфейса и не только

Из интересного – можно использовать сразу несколько LLM. Например, более «простую» для быстрого сканирования и более «умную» для глубокого анализа.

Поддерживается работа с локальными LLM: Ollama или иные OpenAI-совместимые (vLLM, LiteLLM, LM Studio и т.д.).

Больше подробностей представлено в GitHub-репозитории проекта.

KubeDesk: web-интерфейс для Kubernetes

Всем привет!

Ещё один графический web-интерфейс для работы с Kubernetes – KubeDesk!

Позиционируется, как более «лёгкая и простая» альтернатива Lens.

Работает максимально просто: получает на вход kubeconfig и взаимодействует с kube-apiserver для отображения информации пользователю.

KubeDesk умеет следующее:
🍭 Предоставляет информацию о ресурсах кластера
🍭 Позволяет переключаться между контекстами
🍭 Отображает потребление вычислительных мощностей
🍭 Создавать/менять/удалять ресурсы
🍭 Делать exec, port-forward и т.д.

Есть отдельные страницы, на которых можно посмотреть ресурсы, которые не могут быть созданы из-за ошибок, а также связь между ingress и «конечным» pod.

В целом «всё как у всех». Но достаточно минималистично и без лишнего «шума».

Возможно, кому-то требуется именно такое ☺️