DevOps
8.74K subscribers
1.37K photos
864 videos
28 files
1.7K links
Docker, Kubernetes, облачные сервисы (AWS, GCP, Azure), Infrastructure as a Code (Terraform, CloudFormation), администрирование Windows и Linux, сети TCP, IP, скрипты (Bash, PowerShell), Ansible, Jenkins, DevSecOps, логирование. По вопросам @evgenycarter
Download Telegram
Media is too big
VIEW IN TELEGRAM
Linux kernel, DPDK и kernel bypass
(Степан Репин)

В рамках доклада он рассмотрел подход kernel bypass и user space I/O в ядре Linux, уделяя внимание как общим принципам работы, так и реализации на примере DPDK. Рассказал основные компоненты DPDK, включая аллокацию памяти, взаимодействие с драйверами и процесс обработки пакетов. Показал, как технологии kernel bypass интегрируются с инфраструктурой Linux и работают на практике — в том числе на примере генератора-анализатора трафика LR100Gen компании ИнфоТеКС.

По итогам доклада участники получили целостное представление о функционировании kernel bypass в рамках Linux kernel и его применении в современных сетевых решениях.

00:38 - О спикере.
01:11 - О докладе.
03:07 - Как обычно работает ядро?
04:39 - Пример приема данных через ядро.
05:02 - Как выглядит прием пакета через ядро.
06:54 - Что такое kernel bypass и зачем он нужен?
10:10 - DPDK: основные принципы, пример приема данных.
15:53 - Пример измерения производительности с Linux и DPDK.
17:22 - Основы PCIe и как выглядит получение пакета с PCIe.
22:54 - Как linux обеспечивает kernel bypass.
24:39 - uio: задачи и функции.
29:04 - Как работать с userspace I/O.
31:14 - Как работает kernel bypass у Mellanox.
32:00 - Выводы.
32:29 - Вопросы участников.

источник

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍2
Как ускорить работу высокопроизводительных систем?
Выжать максимум из облака

Как сократить задержки при работе с памятью до 50%? Как добиться изоляции выделенного железа в облаке без потери гибкости? Встретимся на бесплатном вебинаре Selectel, чтобы узнать ответы на вопросы и провести практикум по настройке облачной платформы.

Selectel добавил в сервис выделенные ядра, сеть 10 Гбит/с и виртуальные машины с хост, а еще увеличил лимиты ресурсов. Подключайтесь на вебинар, чтобы посмотреть, как перенести в новое облако высоконагруженные системы.

📍 Онлайн
15 апреля в 12:00

Регистрация открыта ➡️ https://slc.tl/4thfn

Больше мероприятий для ИТ-специалистов в канале @selectel_events. Подписывайтесь!

Реклама. АО "Селектел". erid:2W5zFGKWyPX
🔥2👍1
💡 Calico Whisker — безопасные сетевые политики в Kubernetes без простоев

Работая с Kubernetes, вы наверняка сталкивались с риском простоев при внедрении сетевых политик. Ошибки в конфигурации могут случайно заблокировать легитимный трафик, а отладка таких ситуаций — сплошная головная боль.

Теперь есть решение: Calico Whisker — механизм этапных сетевых политик. Суть простая:

🔸 Вы пишете политику, но не применяете её сразу.
🔸 Система "наблюдает", какой трафик она бы заблокировала или пропустила.
🔸 Вы смотрите логи, анализируете поведение.
🔸 И только потом, когда уверены, активируете её без изменений.

Это как staging-режим, только для сетевой безопасности. Без риска. Без простоя.

Идеально для DevSecOps и всех, кто хочет внедрять Zero Trust подход аккуратно и осознанно.

https://www.tigera.io/blog/calico-whisker-staged-network-policies-secure-kubernetes-workloads-without-downtime/

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
3👍1
200 тысяч единиц уже готовы, еще миллион — на подходе: разворачиваем контуры в один клик

Представьте, что вас каждый день просят «быстренько развернуть стенд» — с OpenSearch, PPO и десятком доработанных инструментов, «ну чтобы все работало». Сначала вы автоматизируете то, что делали руками. Потом автоматизируете автоматизацию. А потом в какой-то момент понимаете: нужно не писать скрипты, а строить полноценный продукт. Так у нас в Orion soft появился HyperDrive — наш способ развернуть Kubernetes-контуры по-настоящему по кнопке. И в этой статье я расскажу, как мы это сделали: от боли и хаоса — к параллелизму, GitOps и здравой инженерной оркестрации.

https://habr.com/ru/companies/oleg-bunin/articles/927096/

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
😁6
Media is too big
VIEW IN TELEGRAM
Soft skills. Стоит ли вкладываться в софт скилы DevOps, программистам, тестировщикам?

Говорят Айтишник, особенно DevOps и SRE, должен быть улыбчивый, коммуникабельный и всё в этом роде. Зачем нужны софт скилы?

источник

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
🔥2👍1
📣 Kubernetes Events — новостная лента вашего кластера

Kubernetes Events — это ресурсы типа Event в Kubernetes, которые информируют вас о том, что происходит в вашем кластере. Это похоже на новостную ленту для компонентов кластера: они фиксируют всё — от запуска Pod'ов до ошибок в работе контроллеров.

Каждое событие в Kubernetes содержит:

* message: краткое описание произошедшего
* reason: код причины события
* type: Normal или Warning
* involvedObject: объект, к которому относится событие (например, Pod или Node)
* firstTimestamp, lastTimestamp, count: время и количество повторений

🔎 Как посмотреть события:


kubectl get events


Или для конкретного Pod'а:


kubectl describe pod <pod-name>


Kubernetes сам удаляет события через час. Это значит, что они не предназначены для долговременного хранения.

📤 Хранение событий

Если вам нужно сохранить события дольше, можно:

* Настроить аудит в Kubernetes
* Использовать внешние системы логирования (например, Elasticsearch + Fluentd)
* Подключить event exporters

https://decisivedevops.com/kubernetes-events-news-feed-of-your-kubernetes-cluster-826e08892d7a/

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍2🔥1
Использование BGP для маршрутизации IPv6. Бесплатный урок курса «Сетевой инженер. Продвинутый уровень»

IPv6 уже давно перестал быть «технологией на потом», но на практике у многих инженеров остаются вопросы не по самому адресу, а по маршрутизации. Особенно там, где в игру входит BGP и нужно понимать, как меняется обработка маршрутов в новой адресации и что именно делает многопротокольное расширение BGP.

📅 На открытом уроке 21 апреля в 20:00:

— Разберём, как BGP работает с IPv6 и зачем нужны многопротокольные расширения.
— Посмотрим, как происходит обмен маршрутной информацией IPv6, чем обработка маршрутов отличается от IPv4 и какие нюансы нужно учитывать при проектировании и эксплуатации современной сети.
— Отдельно обсудим практические сценарии применения BGP для IPv6 в реальной инфраструктуре.

Урок не для тех, кто хочет «просто включить IPv6», не понимая логики маршрутизации, или рассчитывает, что BGP для IPv6 работает ровно так же, как для IPv4, без важных отличий.


👉 Записаться: https://vk.cc/cWD16I

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Media is too big
VIEW IN TELEGRAM
Проектирование CI CD. DevOps умеешь?

Не каждый DevOps инженер умеет проектировать ci cd конвейер. А сейчас все чаще и чаще это спрашивают на собеседовании DevOps инженера.

источник

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍3
Как работает сетевая связка контейнеров 🧐

Большинство установок Docker и кластеров Kubernetes используют одинаковую сетевую схему с мостом (bridge).
Лучший способ понять, как это работает? Воспроизвести такую схему с нуля, используя только стандартные команды Linux.

https://labs.iximiuz.com/tutorials/container-networking-from-scratch

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍1
🔥 Elasticsearch или PostgreSQL: зачем платить за сложность?

В DevOps-сообществе тренд «просто используй Postgres» с каждым годом становится всё более актуальным. Команда TigerData выкатили отличную статью, в которой разобрали 10 главных болей при эксплуатации Elasticsearch в продакшене и объяснили, как архитектура PostgreSQL помогает их избежать.

Спойлер: с великой силой (ES) приходит великая операционная боль.

Вот лишь несколько классических проблем, о которых идет речь в материале:

JVM Garbage Collection (GC). Elasticsearch работает на Java, а значит, внезапные паузы "stop-the-world" при сборке мусора - часть вашей жизни. Если нода «подвисает» надолго, кластер считает ее мертвой и начинает панически перераспределять данные. Итог: каскадный отказ на пустом месте. Postgres написан на C, управляет памятью напрямую и не страдает от подобных фризов.

🧩 Математика шардирования. Неправильный сайзинг шардов в ES - это бомба замедленного действия. Слишком маленькие шарды создают оверхед, слишком большие приводят к проблемам с ребалансировкой и восстановлением.

🔄 ETL-пайплайны и синхронизация. Держать основные данные в реляционной БД и постоянно переливать их в ES для поиска - это всегда костыли, риск рассинхрона, задержки (lag) и лишняя точка отказа.

📈 Оверхед на мониторинг. ES требует отдельного зоопарка инструментов и глубокой узконаправленной экспертизы для поддержания кластера в зеленом статусе.

Какой выход предлагают авторы?
Для большинства проектов полномасштабный ES просто не нужен. Современный PostgreSQL (благодаря мощным расширениям вроде pg_textsearch с поддержкой BM25 и pgvector для векторного поиска) отлично справляется с задачами поиска. Вы получаете полноценные ACID-транзакции, единую точку правды и предсказуемое потребление ресурсов без возни с настройкой JVM.

Рекомендуется к прочтению всем, кто устал дебажить кластеры ES по ночам и задумывается о консолидации инфраструктуры.

https://www.tigerdata.com/blog/10-elasticsearch-production-issues-how-postgres-avoids-them

#devops #elasticsearch #postgresql #database #architecture #backend


📲 Мы в MAX

Подпишись 👉@i_DevOps
5👍4
Kubefirst

Платформа с открытым исходным кодом Kubefirst

Это полностью автоматизированная и операционная платформа с открытым исходным кодом, которая включает в себя некоторые из самых популярных инструментов с открытым исходным кодом, доступных в пространстве Kubernetes, и все они работают вместе из одной команды.

Мы поддерживаем локальные облака, облака AWS и Civo. Запустив наши команды cli в пустой среде, вы получите экосистему облачного управления и доставки приложений GitOps с автоматизированными рабочими процессами Terraform, управлением секретами Vault, интеграцией GitLab или GitHub с Argo, а также демонстрационными приложениями, демонстрирующими, как все это работает вместе.

Документация https://docs.kubefirst.io/

https://github.com/kubefirst/kubefirst


📲 Мы в MAX

Подпишись 👉@i_DevOps
3
🚀 Подборка полезных IT каналов в Max


Системное администрирование, DevOps 📌

https://max.ru/i_odmin Все для системного администратора
https://max.ru/bash_srv Bash Советы
https://max.ru/sysadminof Книги для админов, полезные материалы
https://max.ru/i_odmin_book Библиотека Системного Администратора
https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др.
https://max.ru/tipsysdmin Типичный Сисадмин

1C разработка 📌
https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌

https://max.ru/cpp_lib Библиотека C/C++ разработчика

Программирование Go📌
https://max.ru/golang_lib Библиотека Go (Golang) разработчика

Программирование React📌
https://max.ru/react_lib React

Программирование Python 📌
https://max.ru/python_of Python академия.
https://max.ru/BookPython Библиотека Python разработчика

Java разработка 📌
https://max.ru/bookjava Библиотека Java разработчика

GitHub Сообщество 📌
https://max.ru/githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://max.ru/database_info Все про базы данных

Фронтенд разработка 📌
https://max.ru/frontend_1 Подборки для frontend разработчиков

Библиотеки 📌
https://max.ru/programmist_of Книги по программированию
https://max.ru/proglb Библиотека программиста
https://max.ru/bfbook Книги для программистов

Программирование 📌
https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций
https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT
https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻

Шутки программистов 📌
https://max.ru/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://max.ru/thehaking Канал о кибербезопасности
https://max.ru/xakkep_1 Хакер Free

Книги, статьи для дизайнеров 📌

https://max.ru/odesigners Статьи, книги для дизайнеров

Математика 📌
https://max.ru/Pomatematike Канал по математике
https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике

Вакансии 📌
https://max.ru/progjob Вакансии в IT

Мир технологий 📌
https://max.ru/mir_teh Канал для любознательных


Бонус 📌
https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга
https://max.ru/mockva_life Свежие новости Москвы
🤮104👎2👍1
Процессы в Linux — Всё, что нужно знать

Что такое процесс?
Процесс — это экземпляр выполняемой программы. Он содержит код программы и её активность. В зависимости от операционной системы (ОС), процесс может состоять из нескольких потоков выполнения, которые выполняют инструкции параллельно.

https://reliabilityengineering.substack.com/p/everything-you-need-to-know-about

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍3🔥1
💡Полезный совет

Автоматическая принудительная перезагрузка после успешного обновления или установки пакета.


apt update && apt install -y needrestart <PKGNAME>


#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍1
🌟 GitHub Actions для Terraform 🌟

Если вы используете Terraform и хотите интегрировать его с CI/CD процессами на GitHub Actions, используйте библиотеку terraform-github-actions.

С её помощью вы сможете:
- Автоматизировать и тестировать Terraform-код.
- Настраивать проверки terraform plan и terraform apply.
- Ускорить деплой инфраструктуры.

Документация в репозитории описывает примеры использования и тонкости настройки.

https://github.com/dflook/terraform-github-actions

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍2
Когда PSS недостаточно: как выстроить безопасность в Kubernetes

В Kubernetes безопасность часто выглядит так: есть Pod Security Standards и есть внутренние договорённости команд. Но каждая команда по-своему понимает «безопасно», а отвечать за результат приходится вам.

Чтобы навести порядок, нужен системный подход с едиными правилами и встроенным контролем.

На бесплатном вебинаре 28 апреля разберём, как выстроить управляемую модель безопасности в Kubernetes и какие возможности Deckhouse Kubernetes Platform позволяют реализовать её на практике.

В программе:
• где заканчиваются возможности PSS;
• как задать единые правила для команд;
• какие механизмы безопасности есть в DKP;
• как получить практические навыки и пройти сертификацию.


28 апреля в 12:00, онлайн

👉 Зарегистрироваться
👍1
Лучшие практики Kubernetes, о которых я хотел бы знать раньше

Kubernetes, без сомнения, преобразил то, как мы создаём, доставляем и запускаем приложения. Но давайте будем честны: начать работу с Kubernetes может ощущаться как попытка взобраться на Эверест в шлёпанцах.

Как человек, увлечённый облачными технологиями и Kubernetes, я понял на собственном опыте: существует целый набор лучших практик из серии «лучше бы я знал это раньше». Они могли бы сэкономить мне время, деньги и нервы.

https://www.pulumi.com/blog/kubernetes-best-practices-i-wish-i-had-known-before/

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍61
DNS-хаос, зомби-поды и майнеры в кластере: самые невероятные случаи при работе с Kubernetes

Kubernetes — мощный и одновременно сложный инструмент, работа с которым неизбежно порождает… инциденты. И на практике DNS виновата далеко не всегда. Иногда всё ломает слишком длинное имя деплоймента, протухший CA-сертификат или сбой сетевой карты, из-за которого TCP-пакеты просто отбрасываются. В статье вас ждут самые интересные и поучительные инженерные истории с Reddit.

https://habr.com/ru/companies/flant/articles/931902/

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
1👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Glasskube

Это пакетный менеджер с открытым исходным кодом для Kubernetes. Он делает развертывание, обновление и настройку пакетов в Kubernetes в 20 раз быстрее по сравнению с такими инструментами, как Helm или Kustomize. Вдохновлён простотой Homebrew и npm. Вы можете выбрать: использовать Glasskube через интерфейс (UI), командную строку (CLI) или развёртывать пакеты напрямую через GitOps.

https://github.com/glasskube/glasskube

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
k8s-cleaner — это утилита для автоматической очистки ресурсов Kubernetes, которые больше не используются.
Она помогает поддерживать кластеры в чистоте, удаляя устаревшие объекты (Pods, Deployments, ConfigMaps и др.), которые больше не нужны, снижая нагрузку и освобождая ресурсы.

Основные возможности:

- Анализирует ресурсы в кластере и находит неиспользуемые.
- Поддерживает разные типы объектов Kubernetes.
- Может запускаться по расписанию.
- Упрощает администрирование и уменьшает «мусор» в кластере.

https://github.com/gianlucam76/k8s-cleaner

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps
👍31
👉 Сократите расходы на инференс без потери производительности

В Selectel добавили поддержку видеокарт в управляемых кластерах Kubernetes на выделенных серверах.

Модели ИИ работают на отдельном железе, с изоляцией данных и стабильной производительностью даже под пиковыми нагрузками. По стоимости — до 40% дешевле, чем использовать ускорители в облачных серверах.

Можно протестировать бесплатно — на запуск дают до 30 000 бонусных рублей: https://slc.tl/mmlks

Реклама. АО "Селектел". erid:2W5zFGRFWNV
👍2