Давненько ничего не писал про eBPF - исправляюсь!

В своем выступлении с коллегой "eBPF в production-условиях" мы освещали вопрос уязвимостей в подсистеме eBPF и вредоносный код на базе технологии eBPF, но есть что и добавить.

За последнее время в данной подсистеме и новые уязвимости находились и публиковались эксплоиты для них. На пример, для CVE-2021-4204 и CVE-2022-23222. По ссылкам можно посмотреть код и поиграться с эксплоитами. При этом важно знать и помнить (многие этот момент теряют), что баги есть везде и сами эти уязвимости на работу решений на базе технологии не влияют и вред системе не наносят (а то это один из частых вопросов к нам - ведь у нас в разработке используется eBPF).

Также тема разработки вредоносного кода не стоит на месте (технология крутая и явно приковывает к себе внимание) и я знаю как минимум 2 новых проекта на eBPF:
- pamspy - дампер кред для Linux. Для своей работы он использует userland пробу для хука функции в PAM (Pluggable Authentication Modules), что открывает дорогу к sudo, sshd, passwd, gnome, x11 и тд
- TripleCross - Linux eBPF rootkit с возможностями backdoor, C2, library injection, execution hijacking, закрепления и скрытой работы.

Продолжая копать тему различных архитектур реализации ServiceMesh и её развития с учетом технологии eBPF, наткнулся на замечательную статью "eBPF, sidecars, and the future of the service mesh".

Автор данной стать задается двумя вопросами:
1) Насколько мощна технология eBPF при работе с сетью?
2) Можно ли полностью отказать от sidecars proxies и делать все в ядре?

В процессе этого рассказывается:
- Что такое eBPF
- Проблемы конкурентной multi-tenancy
- Ограничения eBPF
- Проблемы Per-host proxies
- Будущем ServiceMesh

По итогу ответы таковы: "Перенести всю логику в eBPF в текущих реалиях нельзя, но сочетать userland sidecars с eBPF можно и нужно".

Примечательно что если прошлая статья на эту тему была от авторов Istio (+ доклад "Sidecarless with eBPF or sidecar with Envoy proxy?"), то эта от Linkerd и они сходятся в своих взглядах и оценках. Далее я планирую ознакомится с материалами от команды Cilium у которых есть свой взгляд на ServiceMesh ;)

Свежая серия постов на тему матрицы угроз для Kubernetes! Серия состоит из 4 частей:
1) MITRE ATT&CK Matrix for Kubernetes - вводная статья
2) MITRE ATT&CK Matrix for Kubernetes: Tactics & Techniques Part 1 - рассматриваются стадии initial access, execution, persistence и privilege escalation.
3) MITRE ATT&CK Matrix for Kubernetes: Tactics & Techniques Part 2 - рассматриваются стадии defense evasion, credential access и discovery.
4) MITRE ATT&CK Matrix for Kubernetes: Tactics & Techniques Part 3 - рассматриваются стадии lateral movement, collection и impact.

На самом деле авторы ошиблись, добавив в название MITRE ATT&CK, ведь само описание делают на базе матрицы от Microsoft (которая по мне более правильная и полная).

P.S. Аккуратно - на картинке есть опечатки!

"How Attackers Use Exposed Prometheus Server to Exploit Kubernetes Clusters" - крутой доклад с Kubecon 2022 EU. Слайды тут, статья тут и видео тут.

Из него вы узнаете почему выставлять Prometheus endpoints в интернет (или вообще на обозрение злоумышленникам) эта плохая идея. Авторы в качестве экспортеров взяли два самых популярных:
- Node Exporter
- Kube State Metrics

И показывают какую информацию из них может извлечь атакующий (картинка в превью) и как это можно использовать уже для атаки на сам кластер или приложения в нем. Сами авторы это обозначили как Kubernetes fingerprinting with Prometheus =)

Весь материал будет полезен как пентестерам, так и внутренним службам ИБ.

В случайных блужданиях по глубинам интернета наткнулся на интересный проект - SecurityPatterns.io

По сути, это гайд о том, как писать security patterns, да еще и с примерами. C гайдом все достаточно прозаично:
1) Постановка задачи (определение проблемы)
2) Определения актива, на которой влияет данная проблема
3) Моделирование угроз
4) Разработка паттерна безопасности

Причем тут Kubernetes спросите вы?! Во-первых, для него можно и нужно такое разрабатывать. Во-вторых, в разделе примеров — это уже сделали за нас! В примерах вы найдете:
1) Source Code Management
2) Container Platform
3) Container Orchestration
4) Service Mesh
5) API based Microservices

Все я это не осилил - объем впечатляет и лично буду пользоваться как справочником при необходимости ;)

"Kubernetes Ephemeral Container Security" это пост не про то зачем и как пользоваться ephemeral containers, а про их влияние на безопасность.

А если быть точнее, то, как с этим работают разные PolicyEngine ведь этот тип контейнеров, также является частью YAML. По сути, такой же мыслью я уже задавался на канале в данном посте. И автор данного поста приходит к таким же результатам и выводам, как и я.

Далее автор смотрит на эти контейнеры еще с точки зрения RBAC - где они выглядят как subresource с именем pods/ephemeralcontainers и к нему можно давать и не давать доступ пользователям.

По итогу:
1) Обновляйте свои политики для PolicyEngine
2) Контролируйте RBAC

Недавно был на одном закрытом мероприятии, где большая часть программы была посвящена расследованию инцидентов. Там удалось познакомиться и пообщаться с крутыми специалистами по расследованию инцидентов - именно их усилиями получается выяснить что, как, кем было совершено нехорошего в вашей инфраструктуре.

Отдельно с ними пообсуждали тему расследования инцидентов в контейнерах средах – Kubernetes. В итоге могу поделиться следующей информацией:
1) Случаев и запросов на расследование инцидентов в контейнерах средах становится все больше.
2) Подобные расследования становятся ночным кошмаром для специалистов, если в инфраструктуре заранее не были предусмотрены соответствующие инструменты и практики. А таких инфраструктур, к сожалению, сейчас абсолютное большинство и помочь получается редко.
3) Сошлись на мнении что приложения в контейнерах проще/лучше грамотно защитить, чем потом пытать там что-то либо расследовать ввиду специфики работы контейнеров и оркестраторов.

О своем взгляде на все это я расскажу в докладе "Специфика расследования инцидентов в контейнерах" (доклад пока в стадии рассмотрения CFP конференции).

Сегодня в центре внимания статья "Load external data into OPA - The Good, The Bad, and The Ugly".

Благодаря данной статье вы сможете ориентироваться в методах получения дополнительной информации для принятия решения об авторизации действия. По-другому это еще можно назвать обогащением. Все это так или иначе помогает создать полый контекст и принять решение. В статье рассматривается 6 способов:
1) Including data in JWT tokens
2) Overload input for OPA within the query
3) Polling for data using Bundles
4) Pushing data into OPA using the API
5) Pulling data using OPA during Policy Evaluation
6) OPAL (Open Policy Administration Layer)

В официальной документации OPA есть раздел "External Data" и там можно ознакомится с этими же способами (за исключением последнего).

При работе с OPA Gatekeeper можно использовать встроенную в Rego функцию http.send (это сценарий 5), но также у него есть и свой уникальный способ через специализированный ресурс Provider, который и рекомендуется использовать на сегодняшний день.

Я думаю, что сегодня все понятно просто по стартовой картинке =)

Да, оказывается уже есть OWASP Kubernetes Top 10! Проект молодой и еще не до конца доделанный - на текущие момент описано 7 или 10 пунктов (хотя и у тех 7 внутри не все еще готово). По задумке авторов каждый из пунктов состоит из разделов:
- Overview
- Description
- How to Prevent
- Example Attack Scenarios
- References

Сам рейтинг:
K01:2022 Insecure Workload Configurations
K02:2022 Supply Chain Vulnerabilities
K03:2022 Overly Permissive RBAC Configurations
K04:2022 Lack of Centralized Policy Enforcement
K05:2022 Inadequate Logging and Monitoring
K06:2022 Broken Authentication Mechanisms
K07:2022 Missing Network Segmentation Controls
K08:2022 Secrets Management Failures
K09:2022 Misconfigured Cluster Components
K10:2022 Outdated and Vulnerable Kubernetes Components

Какое мое мнение по этому рейтингу? Напишу в завтрашнем посте ;)

Относительно OWASP Kubernetes Top 10 из прошлого поста. Как и в любом рейтинге (ничем не подкрепленным) любая позиция в нем дискуссионная, так что на порядок, в котором тут расставлены риски я бы не обращал внимания - хорошо смотреть на картину в целом.

Хотя позиция K01:2022 Insecure Workload Configurations тут явно не поколебима - потому что это касается любого YAML, а у нас все в Kubernetes то YAML.

При этом на мой взгляд первая позиция неразрывно связанна с K04:2022 Lack of Centralized Policy Enforcement ведь первый риск решается (как вариант) с помощью Policy Enforcement (PolicyEngine) - нужно было ли это прямо в отдельный пункт выносить - не знаю. При том что упоминание PolicyEngine есть почти в каждом из пунктов.

Удивило полное отсутствие упоминание Runtime Security в данном перечне, этого даже в скользь нет в K05:2022 Inadequate Logging and Monitoring ... Хотя почти во всех примерах приводят ситуации, когда атакующий что-то выполняет в контейнерах. Таким образом авторы как-то взяли и выкинули всеми любимый кейс с запуском майнеров вообще.

Так же на мой взгляд сейчас остро стоит вопрос с Multitenancy в Kubernetes и как один из рисков, когда один из tenant нарушает изоляцию другого. И это куда распространённее чем тот же K06:2022 Broken Authentication Mechanisms.

По и тогу я бы K04:2022 и K06:2022 заменил бы на Runtime Security (точнее Malware activity) и Multitenancy (точнее Isolation missing).

А какие у вас мысли по данному рейтингу?

Учиться никогда не поздно и учеба никому не вредила - встречайте Awesome Cloud Native Trainings! Это подборка бесплатный тренингов от Cloud Native Computing Foundation проектов и разработчиков программного обеспечения связанного с Kubernetes. Чисто на свой вкус выделю следующие тренинги:
- Kyverno Fundamentals
- OPA Policy Authoring
- Observability Fundamentals
- eBPF Fundamentals Certificate
- Certified Calico Operator: eBPF
- Introduction to Prometheus and PromQL
- Kubernetes related courses

Материал будет полезен Dev, DevOps, SRE и Security инженерам.

Сегодня нужно исправить одно досадное упущение. И заключается оно в том что такой замечательный инструмент как Teleport еще ни разу не фигурировал на данном канале. Штука многогранная, но поговорим о ней в контексте Kubernetes.

По сути Teleport представляет из себя шлюз для identity и access management для Kubernetes API. Очень ярко это раскрывается в статье "How to Give Developers Secure Access to Kubernetes Clusters". Из статьи вы узнаете и как по шагам его у себя поставить и какие бенефиты он может дать:
1. Identity-based access to your Kubernetes cluster
2. Full visibility of all activities performed on your Kubernetes cluster
3. Helps you implement best pratices for Kubernetes access easily
4. Makes you more productive

Отдельно выделю возможность 3 формата для visibility происходящего в сессиях:
- session recording
- unified audit logs
- live view

И, конечно, возможность писать kubectl exec сессии!

P.S. За вопросами в специализированное сообщество @ru_teleport

Если по каким-то причинам вам не подошел наш вчерашний герой (Teleport), то не унывайте как альтернатива ему есть решение HashCorp Boundary.

Мощный лонгрид "User and workload identities in Kubernetes" посвящённый AuthN (на самом деле это 4 статья из цикла). Помимо более-менее очевидных моментов что кочуют из статьи в статью про аутентификацию в Kubernetes - типа: внутренние и внешние субъекты, различные стратегии аутентификации (static token, bearer token, X509 certificate, OIDC и т.д.), назначение и роль Service Accounts и подобное.

В данной статье есть очень классный момент про работу Service Accounts и Secret до версии 1.24 и начиная с нее. Если вы об этом не знали, то тут появляется значительное отличие по работе. Если раньше при создании Service Accounts для него Secret с token создавался автоматически, то теперь этого не происходит (но можно вернуть прежнее поведении через специальную annotations - читайте в этой же статье). С версии 1.24 желаемый token монтируется в Pod автоматически как projected volume и имеет срок действия (чего не было раньше)!

Из статьи "Governing Multi-Tenant Kubernetes Clusters with Kyverno" можно узнать и на примерах посмотреть, как Kyverno ловко управляется в сценариях, где требуется:
- Validate
- Mutate
- Generate

Приведены не тривиальные примеры на каждый из кейсов:
1) Validate Resources: Убедится, что Ingress HTTP Rule Paths уникальны для каждого хоста.
2) Mutate Resources: установить timeoutSeconds для readinessProbe в Deployment, где они не проставлены.
3) Generate Resources: создать VerticalPodAutoscaler ресурс для определенных Deployment.

Многие ошибочно думают, что Policy Engines это инструменты только отдела ИБ, но это совсем не так! С помощью данного класса инструментов можно решать задачи и Dev и Sec и Ops департаментов и все в декларативной манере ;)

Также классно, что авторы в конце статьи рассказывают, как те же самые проблемы можно решить и без Kyverno и какие сложности возникают в таком случае.

Я тут более менее определился с мероприятиями, где представлю новые доклады про Kubernetes и рад сегодня с вами этим поделиться. И так:

- OFFZONE 2022 (Москва), 25-26 августа, "Безопасность Kubernetes: Фаза Deception" - рассмотрим ловушки для злоумышленников в Kubernetes на базе его механизмов и не только.
- KazHackStan 2022 (Казахстан, г.Алматы), 14-16 сентября, "Специфика расследования инцидентов в контейнерах" - в данном докладе рассмотрим какая есть специфика, которая ряд моментов делает более сложными, а некоторые более простыми.
- Kazan Digital Week 2022 (Казань), 21-24 сентября, поучаствую в круглом столе об облаках.
- HighLoad++ 2022 (Москва), 24-25 ноября, (CFP комитет еще рассматривает заявку) "Сочетание несочетаемого в Kubernetes: удобство, производительность, безопасность" — как ИТ и ИБ в кластере Kubernetes могут сразу делать и оптимально, и удобно и при этом безопасно. И все живут мирно и дружно!

Буду рад со всеми встретится и пообщаться!

При этом есть 2 интересных/полезных момента:
1) В рамках OFFZONE есть AppSec.Zone и тут мои хорошие знакомые еще ищут докладчиков - есть шанс залететь туда и поделится своим опытом, исследованием ;)
2) Также я хочу разыграть 1 билет на OFFZONE и для того чтобы его выиграть необходимо в комментариях к этому посту предложить тему исследования в области безопасности Kubernetes, которая вам интересна/полезна и вы бы с удовольствием ее послушали ;)

Небольшая заметка "Fun with Capabilities", которая в первую очередь будет полезна атакующей стороне. Из нее можно узнать занимательную информацию про Capabilities при использовании контейнеров, а именно:
1) Using File Capabilities when you’re not root - тут мы получаем ответ на вопрос "Можно ли использовать Capabilities, если мы работаем не из под root?". И ответ, да при условии что можно влиять на формирование образа контейнера! Для этого достаточно в Dockerfile установить для нужного бинаря нужные Capabilities и далее просто его использовать.

RUN setcap 'cap_net_raw,cap_net_bind_service,cap_chown,cap_dac_override,cap_fowner,cap_fsetid,cap_kill,cap_setgid,cap_setuid,cap_setpcap,cap_sys_chroot,cap_mknod,cap_audit_write,cap_setfcap=+ep' /bin/busybox

2) Moving files with Capabilities - нужно учитывать что по умолчанию при копировании таких бинарей с Capabilities, они сами не копируются и это надо делать специальным способом. Можно использовать tar с флагом --xattrs и при распаковке флаг --xattrs-include='security.*'!

Правда для этого потребуется определенная реализация tar и root права ...

P.S. Результаты конкурса объявлю завтра, так что есть время поучаствовать ;)

На сегодняшний день существует 4 способа работы с внешними хранилками секретов в Kubernetes:
1) Direct API - тоесть приложение самостоятельно при помощи SDK лезет куда нужно. Используется pull модель.
2) Controller - специализированный Kubernetes operator, который берет и зеркалит секреты из внешних систем в классический Secret в Kubernetes. Проект типа External Secrets Operator. Используется push модель.
3) Sidecar + MutatingWebhook - проект типа Vault Agent Sidecar Injector. Используется pull модель.
4) Secrets Store CSI Driver - проект от сообщества Kubernetes, выполненного в виде DaemonSet и нескольких CustomResources. Используется push и pull модель на выбор.

Последний герой появился недавно/последним и позволяет интегрировать хранилища секретов внутрь Kubernetes как CSI volume. На сегодняшний день есть поддержка:
- Azure Key Vault
- AWS Secrets Manager
- Google Secret Manager
- HashCorp Vault

Для подробного знакомства с ним рекомендую ознакомится с официальной документацией и видео "Secrets Store CSI Driver: Bringing external secrets in house".

Наша исследовательская команда Luntry (в лице Сергея Канибора) недавно решила проверить две атакующих техники в Kubernetes, которые можно встретить в разных статьях, презентациях и даже книгах. Проверить с той целью насколько они рабочие на сегодняшний день в последних версиях Kubernetes (взяли для тестов 1.24).

1) Обход Kubernetes Audit Log за счет добавления к Kubernetes Resources очень большой/длинной annotations. Ввиду данной манипуляции по идее в Log попадет далеко не вся информация о действии с данным ресурсом.

Как итог, воспроизвести это не удалось - система выдает: The Pod "nginx" is invalid: metadata.annotations: Too long: must have at most 262144 bytes

2) Обход Admission Controllers (тех же Policy Engines) за счет создания StaticPod в несуществующем namespace. Ввиду этого Pod создается на Node, через kubelet, а Kubernetes API о нем не узнает.

Как итог, воспроизвести это не удалось - система выдает: Aug 01 16:49:02 gimme-4b0b886b-1 kubelet[13744]: E0801 16:49:02.151102 13744 kuberuntime_sandbox.go:70] "Failed to create sandbox for pod" err="rpc error: code = Unknown desc = failed to setup network for sandbox \"4efe71bddeb0a918968168c1f2579b2638a115df0667c4430b1711b5fd2d6b27\": namespaces \"test\" not found" pod="test/priv-exec-pod-gimme-4b0b886b-1"

Как мы видим`Kubernetes` активно развивается и многие моменты там быстро устаревают.

P.S. Вы можете задаться вопросом а в каких версиях это работает?! Но я бы рекомендовал не тянуть с обновлениями кластеров ;)

Похоже что нас ждут большие изменения по работе seccomp в Kubernetes 1.25. Как минимум уже известно:

1) SeccompDefault feature переходит в статус beta (с версии 1.22 он был в alpha )! Еще один шажок к тому чтобы запускать все workloads с дефолтным seccomp профилем, если он не определен.
2) В связи с этим частично уберут seccomp annotations из-за ненадобности.

P.S. Оценили как можно смотреть документацию на версию 1.25, которая еще не выпущена? ;)

Почти 4 месяца назад был гостем подкаста "Битовая каска" и как-то забыл этим с вами поделиться - исправляюсь ;)

Выпуск 36: Дмитрий Евдокимов про безопасность приложений, девсекопс и инженеров-пентестеров