Вокруг Kubernetes в VK
4.64K subscribers
17 photos
1 video
208 links
Новости Kubernetes Conference в VK и других наших серий: DevOps, Databases, Big Data. А также немного про кластеры K8S в облаке VK Cloud: https://bit.ly/2JlX9Om
Выступить на конференции: mcs.mail.ru/speak
Download Telegram
Всем привет,

На прошлой неделе мы огненно провели очередной VK Kubernetes Conf (напоминаем, предыдущий был в марте). Говорили, как положено, про безопасность (коллега из «Тинькофф» рассказал про то, как они строят платформу ИБ, а ребята из центрального ИБ VK — про то, как упростить задачи по анализу Kubernetes для аналитика ИБ).
Про оптимизацию и нетривиальные решения. Скоро будут записи — сразу пошерим их тут.

За эти несколько недель, пока редакция канала была в подготовке к мероприятию, накопилось основательно на почитать. Параллельно нашей подготовке прошло три любопытных конференции: Multi-TenancyCon, Istio Day и DOK Day (DataOnKubernetes!). Просканировали контент и шерим, что понравилось:

🛠 Lightning talk: dissecting Service Mesh overheads — анализ производительности Service Mesh с помощью MeshInsight.

🛠 Keep HPC running — an SRE's guide to supporting GPUs on Kubernetes — очень конкретное видео про то, как работать с GPU на Kubernetes, с уклоном в HPC-задачи.

🛠 The Falco Playground: a cocktail of WebAssembly and Runtime Security — описание недавней разработки Falco Playground, ребята рассказывают про технические подробности реализации с WASM.

🛠 Stateful workloads in Kubernetes: a deep dive — в основном перечисление того, как решаются проблемы Stateful-ворклоадов. В конце оказывается, что большая часть проблем решается процессами, CI/CD и др.

🛠 Multi-Tenancy architecture lessons learned — хорошее видео про мультитенантность и что она несет.

🛠 WASM is becoming the runtime for LLMs — спорный, на наш субъективный взгляд, доклад про то, что WASM может стать новым рантаймом для LLM. В середине доклада докладчик сетует на то, что «долго грузится, потому что размер большой». Но посмотреть стоит, как эксперимент любопытно.

Почитать тоже есть что:

📗 Build an MS-DOS games emulator on Kubernetes — как вы уже поняли, мы очень любим эксперименты.

📗 A Behind-the-scenes look at chaos testing in YugabyteDB — подробный разбор того, как на практике можно сделать хаос-тест для DB.

📗 Public Kubernetes API server numbers pass one million, as attackers start to consider K8s a "central target" | thestack.technology — просто напоминание. Мы часто постим лучшие практики по безопасности. Но в интернете уже больше миллиона Kubernetes, которые смотрят наружу. Не делайте так.
Привет,

Мы участвовали в Highload, надеемся, вы зашли на наш стенд и опробовали все механики :) Один из наших докладов затрагивал в том числе принципы K8s: HighLoad++ 2023 — крупнейшая профессиональная конференция для разработчиков высоконагруженных систем.

На этом Highload много говорили про платформы — VK, «Авито», многие другие. Целые доклады! Все в целом про то, что проблемы платформ даже не инженерные, а связаны с их приземлением на пользователей. Поэтому сегодня немного материалов, которые мы с удовольствием читали.

📗 Platform engineering maturity model — CNCF выкатили новое описание своей апрельской модели. Стало гораздо лучше. Если вы готовите доклад по теме — отличный источник вдохновения.

📗 DevOps to platform engineering: how we got here?
How Netflix's container platform connects Linux kernel panics to Kubernetes pods | Netflix TechBlog — так понравилось, что мы перевели.

📗 На Highload много говорили про Cilium. Подчеркивали нюансы про безопасность.
How Cilium’s mutual authentication can compromise security | The New Stack

Россыпью про Prometheus:
📗 PromCon recap: Prometheus ecosystem updates | CNCF
📗 Prometheus and centralized storage: When you need it, how it works, and what Mimir is | Palark Blog

И анонс полезной тулы:
📺 Introducing Kubescape 3.0 | YouTube

На десерт — статья на английском от Максима Набоких из «Фланта» по мотивам его выступления на нашем митапе.
📗 Collecting logs in Kubernetes with Vector: Benefits, architecture, real cases | Palark Blog

Хороших выходных.
Делимся результатами большого исследования о работе с Kubernetes в России

В сентябре мы дали старт исследованию State of Kubernetes — о том, как компании работают с K8s в России. Всё это время мы собирали данные и работали над отчетом. В исследовании приняли участие более 400 респондентов разных должностей и отраслей, а свои комментарии к результатам опроса дали эксперты из «Фланта» и Luntry.

Сегодня мы делимся отчетом исследования с сообществом.

Если кратко: Kubernetes держит лидирующие позиции в России (как и в мире), количество инсталляций будет расти — почти половина респондентов прогнозирует увеличение кластеров на 50%. Большая часть из них будет onprem, но и облако вырастет — компании строят свои инфраструктуры и разворачивают приложения, используя Cloud Native.

В исследовании мы подробно разобрали:
🔹 какие результаты от работы с Kubernetes получают компании;
🔹 как планируют развивать работу с оркестратором в ближайшие два года и в какие направления будут инвестировать;
🔹 сложности «вокруг Kubernetes»;
🔹 сложности по обеспечению безопасности работы с оркестратором и планы компаний по защите кластеров.

Отчет бесплатный. Заполните форму на странице исследования, чтобы получить его.

Получить отчет
Все чаще компании используют Kubernetes для работы с данными — этот подход становится стандартом для рынка. Мы любим Kubernetes и поддерживаем этот тренд. Поэтому мы выпустили облачный сервис Cloud Spark на платформе VK Cloud. Он разработан на основе собственного Managed Kubernetes и Apache Spark и позволяет структурировать данные из разрозненных источников для создания аналитических и предиктивных систем, а также моделей машинного обучения.

Подробнее о Cloud Spark вы можете узнать на странице продукта и в документации. Присоединяйтесь к тестированию нового сервиса — нам важна обратная связь.

И конечно, рекомендуем посмотреть наш вебинар о Spark в Kubernetes для обработки данных — в нем мы разбираем практические аспекты и особенности эксплуатации.
Всем привет!

Возвращаемся с небольшим дайджестом о том, что мы читали и что нам понравилось.

С любопытством изучили статью GitOps for Databases on Kubernetes | The New Stack. Базы данных, да и вообще вся тема по хранению чего-то, у чего может быть в названии Stateful, в Kubernetes за многие годы его существования обросла и сомнениями, и попытками доказать, а что, если всё-таки это живой подход? В этой статье описывается не просто размещение, а GitOps БД с использованием паттерна оператора.

📗 Мы, конечно, канал про Kubernetes, но какой Kubernetes без дискуссии о монолитах и микросервисах? В статье Monoliths: A space odyssey to better developer experience приводится попытка ответить на вопрос: а что, если монолит — это хорошо, если мы делаем его специально? Мы в редакции думаем примерно так же. Мы жили при монолитах, пережили недавние наносервисы, живем в эпоху микросервисов и постоянно видим попытку вернуться к монолитам. Приятно, что так же, как мы, считает и Вернер Фогельс, который говорит, что всему своя цель и задача.

📗 Келси Хайтауэр — интеллигент от аналитики. Если выходит что-то от него, то мы обычно читаем и изучаем. Так и тут. Рекомендуем: Kubernetes and beyond: a year-end reflection with Kelsey Hightower | CNCF.

📗 Предпоследняя статья — про безопасность. Мы в последнее время не так много пишем про нее, поскольку есть наши коллеги из Luntry и Positive Technologies, но эту статью порекомендовать можем смело: Top four Kubernetes attack chains and how to break them.

📗 Прошлая неделя, к сожалению, была омрачена уходом создателя NTP Дэвида Миллса. В заметке совершенно справедливо указывается, что мы часто пользуемся чем-то небольшим и не думаем о людях, которые иногда в одиночку продолжают поддерживать и улучшать эти проекты. Когда будете настраивать синхронизацию в Kubernetes, вспомните добрым словом человека, который до самого конца работал над NTP: Farewell to the Internet's master timekeeper: David Mills | The New Stack.
В нашем исследовании State of Kubernetes мы рассказывали, что барьером для внедрения оркестратора остается его сложность: многих останавливает сложность поднятия Kubernetes, конфигурирования кластера, деплоя в нем приложений и построения CI/CD-процессов вокруг него.

Илья Нырков, архитектор в VK Cloud, на практике показал, как вы можете запустить проект всего за 60 минут, с примером CI/CD-пайплайна, который собирает разбитое на два микросервиса CRUD-приложение, пушится в платформенный реджистри и деплоится в Kubernetes.

В статье на Хабре рассмотрены все шаги поднятия: создание кластера и базы данных, настройка абстракций Kubernetes вроде Service, Ingress, Deployment и т. д. и установка платформенных аддонов в кластер, а также поднятие инфраструктуры стенда при помощи подхода Infrastructure-as-a-code. Все файлы Terraform и Kubernetes, код приложения и сокращенная пошаговая инструкция доступны в отдельном репозитории. Вы сами сможете повторить все шаги.
VK Kubernetes Conf возвращается! Мы ищем спикеров

VK Kubernetes Conf — флагманская конференция по Kubernetes в России. В прошлом году мы собирали на площадках офлайн и онлайн более 5000 участников комьюнити K8s.

В новом году на VK Kubernetes Conf мы продолжим рассказывать о самом интересном и горячем. Встретимся уже в марте!

Прямо сейчас ищем спикеров, готовых поделиться с сообществом опытом работы с оркестратором.

О чем будем говорить на конференции:

🔹о самой актуальной теме в мире K8s — безопасности;

🔹о реализации Platform Engineering на базе Kubernetes;

🔹о переходе к Cloud Native и инструментах FinOps;

🔹о работе с данными и AI c помощью K8s;

🔹в этом году мы хотим поделиться нестандартными кейсами применения оркестратора. Знаем, что есть и такие :)

Готовы выступить? Ждем вашу заявку!
У вас есть классная тема, но нет опыта выступлений — программный комитет конференции придет на помощь.

📍 Ждем ваши заявки до 12 февраля!

Выступить на конференции
Всем привет! Мы уже анонсировали нашу Kubernetes Conf в марте и сейчас собираем и оцениваем заявки на выступление спикеров. И нужно сказать, заявки огонь. Радуемся, что наше мероприятие привлекает внимание известных в индустрии разработчиков :)

Во время подготовки программы конференции мы перелопачиваем тонны материалов, аналитические, холиварные (зачеркнуто), технические, технологические. Мы хотим, чтобы мероприятие было с контентом актуальным и свежим. Делимся тем, что читали на этой неделе.

📗 Technology Trends for 2024 | O’Reilly | oreilly.com — O’Reilly регулярно выходят с анализом технотрендов. Делают это любопытно: берут аналитику по чтению контента год к году и на основе мнения своих экспертов выстраивают текущую ситуацию и прогнозы на будущее. Горячо рекомендуем почитать полностью — наша редакция не смогла выбросить ни слова из песни. В разделе про Kubernetes и операции в Cloud Native есть про платформенный инжиниринг. Он у нас был на прошлой конференции, на эту тему есть очень интересные заявки ;)

📗 KubeCon: Emerging 2024 Trends | getambassador.io — KubeCon, по нашим наблюдениям, сначала пробует новую тему через доклады на основной конференции, после чего, если все получается, выделяет в новую. Так было с Platform Engineering Day. В 2024 году мы точно увидим еще больше AI/ML. В разработке, доставке, поддержке, мониторинге. На нашей конференции плотно думаем над тем, что бы рассказать. Может, не только про ML, но и про то, как работать с базами данных в Kubernetes? :)

📗 KubeCon + CloudNativeCon Europe Paris co-located event deep dive: Cloud Native Wasm Day | CNCF — несмотря на то, что O’Reilly пишут об общем снижении интереса к чтению про WASM, организаторы KubeCon в него верят и выделяют в отдельный день. В снижение интереса мы верим: хайпа было много, и теперь индустрия ждет чего-то прорывного, что либо снова поднимет хайп, либо вывернет WASM на плато продуктивности.

Что дальше? А дальше мы смотрим все ваши заявки, обсуждаем в программном комитете и выносим решения. Нам нравится все, но не все мы сможем взять в конференцию просто за неимением слотов. Оставайтесь на связи, мы очень скоро объявим апдейты :)
VK Kubernetes Conf — первое K8s-событие этого года

Всем привет. 28 марта мы проведём новую VK Kubernetes Conf. О чём говорят внутри комьюнити? Растёт количество инструментов, усложняются архитектурные паттерны, повышаются требования к ИБ и к администрированию решений — защищенность Kubernetes становится приоритетом №1.

Первая в этом году конференция VK Kubernetes Conf будет посвящена отказоустойчивости и аварийному восстановлению, уязвимостям кластеров и как с ними бороться. Об этом и о сценариях применения Kubernetes, которые в последние годы набирают обороты, поговорим с экспертами из «Тинькофф», VK, Wildberries, VK Cloud, «Газпромбанка», билайна и других компаний.

VK Kubernetes Conf — это повод встретиться с сообществом и обменяться опытом, получить совет от специалистов и просто хорошо провести время с людьми, которые говорят с тобой на одном языке. Приглашаем на нашу конференцию разработчиков, и всех, кто работает с Kubernetes.
Всем привет! Максим Набоких, архитектор и технический руководитель Deckhouse Kubernetes Platform на VK Kubernetes Conf в прошлом году рассказал, как они используют инструмент построения observability-пайплайнов Vector для сбора логов.

В текстовой версии доклада на Хабре Максим поделился своим опытом, чтобы те, кто работает с K8s, почувствовали потенциал Vector и смогли воспользоваться его преимуществами в своей работе.

Читать на Хабре

Не забывайте, что 28 марта мы проведём новую VK Kubernetes Conf. Успейте зарегистрироваться
Всем привет.

Если вы еще не зарегистрировались на VK Kubernetes Conf — самое время! Мы на финишной прямой, осталось сделать прогоны и решить, что мы будем обсуждать на дискуссии с коллегами из индустрии. И вот тут у нас целое поле для творчества, как оказалось.

Что значит «Kubernetes в огне»? О чем будет дискуссия? Из описания может показаться, что про эксплуатацию, мониторинг и так далее. Но ведь это уже обсудили столько раз, что сказать что-то даже напоминающее новое уже сложно. Сегодня на конференциях говорят скорее об инструментах. Экосистема и подходы уже зрелые, и самое время задуматься о том, как правильно выбирать инструменты.

Об этом и поговорим. Все говорят об eBPF, но есть классические проверенные технологии, риски которых известны (футпринт и так далее). Как сегодняшний выбор повлияет на нашу систему в будущем? Google недавно объявил о том, что когда-то сделал неправильные оценки и поэтому дальше будет только Gateway API. Как не делать неправильные оценки? Возможно ли это? Как оценивать свой выбор с позиции того, как он откликнется в другой части продукта?

Поговорим про безопасность, экономику и многое другое. А чтобы подготовиться к вопросам, можно почитать наш дайджест.

📗 K8s service meshes: The bill comes due | matduggan.com

📗 Worksheets.key | developertoarchitect.com

📗 LinkedIn open sources interactive debugger for K8s AI pipelines | The New Stack

📗 Экономим на Kubernetes с помощью OpenCost — и другие прелести FinOps | Хабр (habr.com)

📗 Kubernetes predictions were wrong | The New Stack

📗 WebAssembly in the browser matures and cool things happen | The New Stack

📗 The Kubernetes cost features you need in 2024 | CNCF

📗 Meet DBOS: A database alternative to Kubernetes | The New Stack

На десерт милая новость.

📄 Istio joins Phippy and friends — Welcome Izzy! | CNCF
This media is not supported in your browser
VIEW IN TELEGRAM
Вокруг Kubernetes в VK
Video message
Привет!

Дмитрий Рыбалка, техлид отдела базовой ИТ-инфраструктуры, «СберМаркет» расскажет на VK Kubernetes Conf о 5 способах ускорения физической доставки образа в ваш кластер Kubernetes.

До конференции осталось чуть больше недели, и скоро мы закроем приём заявок. Успейте зарегистрироваться.
Привет. В марте совместно с hh.ru мы провели исследование и выяснили, какие требования компании предъявляют к специалистам по работе с Kubernetes, какие условия предлагают. Если кратко — спрос на специалистов с навыками работы с Kubernetes за три года вырос, в основном за счет спроса на сотрудников с опытом работы более трех лет.

Что мы узнали:

🔹 В четвертом квартале 2023 года количество вакансий для специалистов со знанием технологии Kubernetes выросло на 36% в сравнении с показателем первого квартала 2021 года

🔹 Медианные зарплаты за этот период увеличились на 25%, минимальные — на 20%, а максимальные — на 31%

🔹 Компании ищут людей с опытом: 65% вакансий содержат требование об опыте работы не менее трех лет по сравнению с 49% в первом квартале 2021 года. Количество вакансий для начинающих сократилось в 2,5 раза

🔹 Среди других инструментов, с которыми должен уметь работать специалист по Kubernetes, чаще всего упоминаются Docker, Linux и СУБД PostgreSQL. Кроме этого, востребованы Python и Git

28 марта на VK Kubernetes Conf мы собираем экспертов, чтобы обменяться опытом и рекомендациями, как сделать работу с оркестратором проще. Присоединяйтесь, чтобы прокачать ваши скиллы!
This media is not supported in your browser
VIEW IN TELEGRAM
Вокруг Kubernetes в VK
Video message
Привет!

Рашит Саитов, Senior DevOps Engineer в билайн, приглашает на конференцию VK Kubernetes Conf. Он расскажет про запуск ПО на виртуальных машинах с GPU внутри K8s и KubeVirt, как возможность сохранить единую парадигму управления, единый деплой, единую сеть с другими сервисами, задеплоенными в Kubernetes.

До конференции осталась неделя, и скоро мы закроем приём заявок. Успейте зарегистрироваться.
Всем привет,

➡️ В этот раз мы хотели бы затронуть тему кубера как развивающегося инструмента. Натолкнула нас на это размышление панельная дискуссия про Kubernetes как платформу для данных на недавнем KubeCon. Дискуссия интересная, с общей мыслью «Не делайте из кубернетеса платформу для всего, он этого не выдержит». Нам особенно запомнился коллега из Altinity, любящий качать тему Data On Kubernetes и шутки про Clickhouse на Kubernetes. Рекомендуем.

➡️ Вернемся к развитию кубернетеса. Недавно группа разработки объявила о том, что добавляет к Ingress новый замечательный инструмент Gateway API. С одной стороны хорошо: больше выбора. С другой стороны, а по какому принципу теперь выбирать? В одном углу ринга старый проверенный Ingress, к которому написана тонна обвязки к облакам и инструментам, а в другом — Gateway API, который спроектирован с учетом ограничений Ingress и вообще лучше, но обвеса к которому нет, в продакшене особо не замечен.

➡️ Еще одна важнейшая часть кубернетеса — sidecar. Сайдкары с нами давно — кто постарше, помнят времена, когда мы надеялись, что они отработают правильно. С тех пор прошло много времени, и замечательное 25-минутное видео с последнего KubeCon затрагивает эволюцию сайдкаров через KEPы (Kubernetes Enhancement Proposal). Как правильно запускать, как правильно трекать запуск, как правильно выключать — этот гигиенический минимум развивался долго. А вместе с ним развивались и другие фичи, такие как стартап-пробы. В конце концов сделали специальную фичу для сайдкаров и выкатили в бету. В докладе еще есть интересный раздел про будущее, но, к сожалению, самое интересное будущее — эмбиент — очень поверхностно.

📺 Sidecar containers in Kubernetes: past, present, and future | Matei David, Buoyant & Mike Beaumont | YouTube

➡️ Венчает доклад вопрос из зала, который, как нам кажется, идеально характеризует то, почему платформу нельзя усложнять. «Хорошая фича, но почему она закопана так глубоко? Не найти же».

➡️ А ведь кто-то не найдет, не прочитает документацию и сделает свой велосипед. Мораль сегодняшнего поста — прежде чем выбирать версию кубернетеса или фичи, внимательно читайте документацию, смотрите видео с KubeCon (или с нашей конференции). В какой-то момент кубернетес стал слишком развитым, и очень нужная фича может быть закопана в UI.
Привет. 28 марта мы проведём конференцию VK Kubernetes Conf для нашего большого K8s-комьюнити. И сегодня последний день, когда вы можете зарегистрироваться на офлайн. Регистрация закрывается в 17:00 МСК.

Успейте!

➡️ Обратите внимание, что компания VK усилила меры безопасности, поэтому досмотр на входе займёт больше времени, чем обычно. Мы перенесли начало регистрации на 13:00, чтобы вы могли без очереди и комфортно пройти контроль и попасть на конференцию.
Привет. Уже через час начнётся VK Kubernetes Conf. На площадке конференции появляются первые гости, а ссылку на трансляцию вы получите на почту, которую указали при регистрации.

Прямо под этим постом в комментариях вы уже сейчас можете задавать вопросы нашим спикерам. Самые лучшие мы зададим после выступлений, а на остальные ответим в чате.

Полное актуальное расписание и программу вы можете найти на странице конференции, но для вас мы сделаем краткую выжимку:

➡️ 14:00–14:35 — Доклад «Аварийное восстановление Kubernetes под управлением Cluster API». Максим Снежков, руководитель группы Spirit Compute, «Тинькофф».
➡️ 14:35–15:10 — Доклад «5 способов ускорить физическую доставку образа в Kubernetes: актуальные стратегии». Дмитрий Рыбалка, Techlead отдела базовой ИТ-инфраструктуры, «СберМаркет».
➡️ 15:10–15:45 — Доклад «Наш опыт эксплуатации Airflow в Kubernetes: зачем, а главное, как?». Олег Вознесенский, исполнительный директор по разработке, ГазпромБанк.

➡️ 15:45–16:45 — кофе-брейк

➡️ 16:45–17:20 — Доклад «Тренды Kubernetes внутри VK». Алексей Шарапов, CINO, VK.
➡️ 17:20–17:55 — Доклад «KubeVirt: 2 мира — 1 API, или Как скрестить контейнеризацию с виртуализацией и позвать к ним GPU». Рашит Саитов, Senior DevOps Engineer, билайн.
➡️ 17:55–18:30 — Доклад «IDP: хороший, плохой, злой». Александр Кириллов. СТО, Evrone.
➡️ 18:30–19:10 — Дискуссия «Kubernetes в огне: как сделать правильно, чтобы выдержать всё» с экспертами из Лаборатории Касперского, VK Cloud и Positive Technologies.

Ждём вас!
Мы начинаем VK Kubernetes Conf!

Задавайте свои вопросы в комментариях — мы передадим их спикерам.