Wardline: Control Plane for AI Agents

Всем привет!

Не важно, как это называется – AI Gateway или Control Plane for AI Agents.

Суть одна – некоторый «proxy», который позволяет контролировать то, что делают агенты.

Wardline – ещё один open-source пример реализации подобной концепции.

Он перехватывает запросы, определяет identity, применяет политики, оценивает потенциальный «бюджет» и пытается идентифицировать аномалии.

Все результаты его действий записываются в журнал.

Политики можно писать в разных форматах: YAML, OPA/Rego и Cedar.

В качестве контролирующий действий можно выбрать: allow, deny, throttled (превышение «бюджета»), blocked (identity заблокирована при анализе аномалий) и не только.

Помимо этого, Wardline поддерживает множество разных возможностей, среди которых: SSO, контроль доступа с использованием RBAC, возможность создания approval-правил и т.д.

Всё это описано в официальной документации на решение.

Результаты работы можно смотреть в графическом web-интерфейсе.

Кстати, если хочется посмотреть как всё это выглядит, можно запустить /demo/run.sh, который «поставляется» вместе с Wardline.

Inference в Kubernetes

Всем привет!

Запуск LLM в Kubernetes. Отличается он чем-то от запуска LLM в иных средах? Если да, то чем? Какие могут быть нюансы?

Если вам интересны ответы на эти вопросы, то рекомендуем прочесть статью, в которой Автор разбирает этот вопрос.

Всё начинается с основ: как вообще формируется Inference? Кратко описываются этапы Tokenization, Prefill, Decode.

Получается, что нужно нечто, что загрузит модель, будет управлять памятью и запросами по мере их поступления. Так Автор плавно подходит к vLLM.

И дальше начинается самое интересное:
🍭 Подготовка кластера Kubernetes
🍭 Выбор модели, которая будет использоваться
🍭 Установка модели, конфигурация ресурсов Kubernetes
🍭 Небольшая настройка и использование

Каждый этап сопровождается комментариями и примерами. Но и это ещё не все!

После установки модели Автор развивает идею и настраивает взаимосвязь между Agentgateway и vLLM.

В итоге получилась отличная базовая статья, которая на простых примерах поясняет как и что работает.

А что ещё лучше – её вполне можно воспроизвести для собственных экспериментов ☺️

AI SDLC Transformation Playbook

Всем привет!

Из приложения можно скачать playbook (~ 17 страниц), в котором описываются подходы и практики использования AI при разработке в Atlassian.

Материал содержит разделы:
🍭 Making the shift to AI-native SDLC
🍭 Traditional vs AI-native SDLC workflows
🍭 Platform investments
🍭 Workflow shifts
🍭 Navigating change

Кратко описывается что именно изменилось в Atlassian с появлением AI на разных этапах разработки ПО: Planning, Design, Development, Review и Maintenance.

Отдельно рассматриваются вопросы получения контекста, чтобы это «работало». Например, в Atlassian создали свой собственный «context engine» - Teamwork Graph – который объединяет более 50 систем.

Явных «инструкций и алгоритмов» вы не найдёте, но это даже хорошо.

Сам подход и изменения описаны в достаточной степени, чтобы адаптировать его под собственные нужды.

System Design Interview

Всем привет!

Бывало ли с вами так, что надо быстро понять какой-либо концепт, но не хочется/нет времени искать информацию в сети?

Например, потому что её много или Автор сразу начинает рассматривать какие-либо детали и нюансы?

Если вы всё ещё ищете ресурс с подобной информацией, то рекомендуем обратиться к System Design Interview.

Это электронная книга, в которой Автор кратко и лаконично описывает общие концепции, которые используются в современных системах.

Например:
🍭 Scaling. Вертикальное/горизонтальное масштабирование, распределение нагрузки, кэширование, CDN и т.д.
🍭 Unique ID Generator. Возможные способы генерации уникальных идентификаторов
🍭 Rate Limiter. Описание проблематики, используемые алгоритмы, их преимущества и недостатки
🍭 Notification. Описание проблематики, концепция и способы реализации push-уведомлений

И это далеко не все разделы, что есть в книге. Да, какие-то нюансы, подводные камни или особенности реализации в ней не найти.

Но! У неё другая цель – дать первое, быстрое и понятное представление «о том, что это вообще такое» и «какие популярные (или часто используемые) способы реализации доступны».

Рекомендуем для начинающих или тех, кому нужна «шпаргалка» на разные случаи жизни 😊

AI Skills для инженеров

Всем привет!

По ссылке доступен набор skills, которые могут пригодиться в повседневной работе инженера.

Как и многие подобные ему, проект «родился» из опыта Matt Pocock, который является его Автором.

Matt известен своими обучающими курсами и материалами по веб-разработке и внедрению ИИ.

Он структурировал, описал и делится наработками с сообществом.

Подборка разбита по группам:
🍭 The Main Flow. Уточнение деталей агентом, создание спецификаций и задач
🍭 Shaping. Работа с прототипами, проведение «исследований»
🍭 Engineering. Диагностика неполадок, расстановка приоритетов в реализации задач, подготовка к рефакторингу
🍭 Productivity. Изучение проекта, уточнение непонятных моментов, подготовка к смене агентов
🍭 Reference. Набор «поддерживающих» skills

Работают они с любой моделью. Примеры установки доступны для Claude Code, Codex, GitHub Copilot, Gemini.

Для каждого skill есть описание что он делает, для чего его лучше (не) использовать, когда его лучше всего запускать и т.д.

Есть даже /grill-me - skill, который заставляет агента уточнять у вас о том, что вы делаете, чтобы «выровняться по ожиданиям» и решить проблему, когда «агент не делает то, что я хочу!».

P.S. То же самое можно найти и в официальном GitHub-репозитории проекта.

OASIS: анализ уязвимостей в коде

Всем привет!

OASIS – ещё один LLM-based сканер, который позволяет анализировать исходные тексты и находить в них ИБ-дефекты.

Возможности схожи с аналогичными инструментами:
🍭 Анализ кодовой базы, идентификация ИБ-дефектов
🍭 Возможность настройки параметров сканирования (типы уязвимостей, расширения файлов)
🍭 Подтверждение найденных ИБ-дефектов с указанием степени «уверенности»
🍭 Сравнение результатов сканирования (последнего с предыдущим)
🍭 Формирование отчётов (JSON, HTML, PDF и MD)
🍭 Наличие графического web-интерфейса и не только

Из интересного – можно использовать сразу несколько LLM. Например, более «простую» для быстрого сканирования и более «умную» для глубокого анализа.

Поддерживается работа с локальными LLM: Ollama или иные OpenAI-совместимые (vLLM, LiteLLM, LM Studio и т.д.).

Больше подробностей представлено в GitHub-репозитории проекта.

KubeDesk: web-интерфейс для Kubernetes

Всем привет!

Ещё один графический web-интерфейс для работы с Kubernetes – KubeDesk!

Позиционируется, как более «лёгкая и простая» альтернатива Lens.

Работает максимально просто: получает на вход kubeconfig и взаимодействует с kube-apiserver для отображения информации пользователю.

KubeDesk умеет следующее:
🍭 Предоставляет информацию о ресурсах кластера
🍭 Позволяет переключаться между контекстами
🍭 Отображает потребление вычислительных мощностей
🍭 Создавать/менять/удалять ресурсы
🍭 Делать exec, port-forward и т.д.

Есть отдельные страницы, на которых можно посмотреть ресурсы, которые не могут быть созданы из-за ошибок, а также связь между ingress и «конечным» pod.

В целом «всё как у всех». Но достаточно минималистично и без лишнего «шума».

Возможно, кому-то требуется именно такое ☺️

Поиск уязвимостей с LLM: «понимание» или «поиск шаблонов»?

Всем привет!

Команда Semgrep не перестаёт радовать и выпускает очередное интересное исследование.

После того, как они проанализировали возможности LLM по поиску IDOR, у них возник вопрос: модель «понимает», что происходит, или она просто умеет искать некие «шаблоны»?

Для того, чтобы это оценить, ребята ввели метрики:
🍭 Counterfactual. Устранение найденной уязвимости с минимальным diff. Уязвимость должна будет исчезнуть при повторном анализе
🍭 Metamorphic. При изменении имени переменных, идентификаторов и т.д., уязвимость должна быть найдена при повторном анализе
🍭 Selectivity. Способность отличить «похожие» на уязвимости конструкции, от реально уязвимых
🍭 Stability & Coverage. Отображение идентичной информации об уязвимостях и их количестве при многократном повторении сканирований

С использованием этих метрик исследовали модели: Kimi K2.7, GLM-5.2, MiniMax M3, Opus 4.8, GPT-5.5.

Результаты получились практически идентичные, за исключением одного параметра: Stability & Coverage.

А если вернуться к первоначальному вопросу, то по мнению команды Semgrep, модели и правда «понимают происходящее», а не просто ищут шаблоны.

Рекомендуем к прочтению!

Kubernetes Events

Всем привет!

События (events) в Kubernetes не всегда кажутся чем-то значимым, но это не так.

Они могут быть использованы при диагностике, поиске источников проблем, анализе того, что изменилось и много для чего ещё.

Чтобы лучше с ними «познакомиться», рекомендуем обратить внимание на статью.

Начинается она с небольшой «исторической справки»: когда в Kubernetes появились события и для чего они были нужны.

Далее Автор описывает:
🍭 Что такое события в Kubernetes
🍭 Разновидности событий
🍭 Для чего события можно использовать
🍭 Как реагировать на события и не только

Всё это Автор рассматривает с точки зрения создания собственного controller’a, чтобы более наглядно показать, как и для чего можно использовать события.

Итого: хорошая обзорная статья, которая поможет лучше разобраться в теме. Просто и доступно

Secure Software Factory

Всем привет!

Software Factory всё больше и больше становятся «автономными»: есть prompt/задача/спецификация, которая превращается в работоспособную функциональность силами ИИ и их агентов.

Для этого им требуется доступ к различным значимым сервисам – от кодовых баз до серверов, на которых всё разворачивается и тестируется.

Часто бывает так, что жертвой такой «продуктивности» становится информационная безопасность.

Ведь о ней думают в меньшей степени, когда есть возможность «сделать feature в разы быстрее».

Естественно, что ни к чему хорошему это не приводит. Иногда, агент может удалить базу данных с production-данными.

Но и ограничивать агентов полностью не хочется, тогда идея их использования потеряет всякий смысл.

Как быть? Мнение на этот счёт можно найти в прилагаемом файле. В нём Авторы описывают концепт Secure Software Factory.

Он «строится» на 4-х основах: Sandboxing, Network, Supply Chain и Identity & Access.

Это только первая часть, которая контролирует ограниченную среду выполнения агентов.

Вторая часть – Execution & Observability. Контроль запуска агентов, сбор информации об их действиях (в том числе и для улучшения самой Software Factory).

Дополнительно рассматривается несколько уровней автономности подобных «систем»: от Human-Orchestrated до Agent-Orchestrated и много чего ещё интересного.

Кстати! Дополнительную информацию по Secure Software Factory, включая описание различных контролей, можно найти на сайте.

Hortator: контроль запуска AI-агентов

Всем привет!

Hortator – open-source утилита, которая представляет из себя Kubernetes-оператор, позволяющий агентам запускать других AI-агентов.

Каждый агент, запускаемый Hortator, работает в собственном pod, со своим контекстом, бюджетом и ИБ-ограничениями.

Можно настроить следующее:
🍭 Безопасность. Сетевые политики, управление полномочиями («дочерний» агент не может иметь больше полномочий, чем «родительский»), RBAC
🍭 Бюджет. Ограничение по токенам, отслеживание потраченных ресурсов в LLM
🍭 Чувствительные данные. Входные и выходные данные проверяются на наличие секретов
🍭 Мониторинг «здоровья». Получение сведений о том, что задача «все ещё выполняется»
🍭 Мониторинг. Задачи (общее количество, выполненные, время выполнение задачи и т.д.)

Часть функциональности (например, контроль чувствительных данных и работа с бюджетом) доступна только в enterprise-версии.

О том, как устроен Hortator, как он работает, как его запускать и настраивать можно прочесть в GitHub-репозитории проекта.

Лабораторные работы по Kubernetes

Всем привет!

Как можно неплохо провести выходные? Конечно, решая лабораторные работы по Kubernetes.

Например, SnowOps Labs! Выбираете сценарий, запускаете и пытаетесь разобраться что произошло.

Суть не в поиске уязвимостей, а в том, чтобы исправить ошибки и восстановить работоспособность кластера и/или приложений.

Доступны разнообразные лабораторные работы:
🍭 Observability & SRE
🍭 GitOps & CI/CD
🍭 Security & Compliance
🍭 Chaos Engineering
🍭 Autoscaling Under Load и т.д.

Для удобства есть графический web-интерфейс, где можно выбрать то, что наиболее интересно.

Каждый сценарий описывает что будет создано в кластере и что надо сделать для его прохождения.

Например, для Security & Compliance надо будет скорректировать конфигурации для соответствия «требованиям» Kyverno, перевести несколько политик в другой режим работы, добавить исключения и т.д.

Рекомендуем!