Как Netflix добивается корректной атрибуции в журналах сетевых потоков eBPF
Один неправильно «пришитый» IP — и рождается фантомная зависимость. Netflix на масштабе ≈5 млн TCP-потоков/с отказался от событийного учёта адресов и построил атрибуцию на наблюдаемых таймлайнах владения IP: eBPF-сайдкар точно метит локальную нагрузку (включая Titus и связку IPv6→IPv4 по паре IP+порт), а FlowCollector держит интервалы в памяти и рассылает их через Kafka, форвардя межрегиональные кейсы по trie из VPC-CIDR.
Задержка — ~1 мин вместо 15, ложных совпадений — ноль по проверке на Zuul. В итоге flow logs стали источником истины о зависимостях и «здоровье» сети.
https://netflixtechblog.com/how-netflix-accurately-attributes-ebpf-flow-logs-afe6d644a3bc
#devops #девопс
Подпишись 👉@i_DevOps
Один неправильно «пришитый» IP — и рождается фантомная зависимость. Netflix на масштабе ≈5 млн TCP-потоков/с отказался от событийного учёта адресов и построил атрибуцию на наблюдаемых таймлайнах владения IP: eBPF-сайдкар точно метит локальную нагрузку (включая Titus и связку IPv6→IPv4 по паре IP+порт), а FlowCollector держит интервалы в памяти и рассылает их через Kafka, форвардя межрегиональные кейсы по trie из VPC-CIDR.
Задержка — ~1 мин вместо 15, ложных совпадений — ноль по проверке на Zuul. В итоге flow logs стали источником истины о зависимостях и «здоровье» сети.
https://netflixtechblog.com/how-netflix-accurately-attributes-ebpf-flow-logs-afe6d644a3bc
#devops #девопс
Подпишись 👉@i_DevOps
👍2
jnv — это интерактивный JSON фильтр и просмотрщикОсобенности:
- Интерактивный просмотрщик JSON и редактор фильтров jq
- Подсветка синтаксиса для JSON
- Использование jaq для применения фильтров jq
- Исключает необходимость самостоятельной подготовки jq пользователем
- Настраиваемые возможности через конфигурацию TOML
- Переключение отображения подсказок
- Настройка отзывчивости интерфейса (время задержки и скорость анимации)
- Внешний вид и поведение редактора
- Стилизация просмотрщика JSON
- Настройка отображения и поведения автодополнения
- Настраиваемые сочетания клавиш
- Поддержка различных форматов ввода:
- Ввод: файл, stdin
- Данные: один или несколько JSON-объектов, которые можно десериализовать с помощью StreamDeserializer (например, JSON Lines)
- Автодополнение фильтров — поддерживаются только:
- Identity (идентичность)
- Object Identifier-Index (идентификатор/индекс объекта)
- Array Index (индекс массива)
- Сообщения-подсказки для оценки фильтра
https://github.com/ynqa/jnv
#devops #девопс
Подпишись 👉@i_DevOps
👍1
📦 sig-storage-local-static-provisioner - это официальный проект из экосистемы Kubernetes, который автоматизирует работу с локальными дисками как с PersistentVolume.
Он сканирует ноды, находит локальные директории или блочные устройства и автоматически создает для них
- использовать быстрые локальные SSD для подов;
- минимизировать задержки по сравнению с сетевым хранилищем;
- избежать ручного управления PV.
Поддерживаются как файловые директории, так и raw-блоки. Также есть механизмы очистки после удаления
Это решение активно применяют в продакшене для stateful-нагрузок, где важна производительность — например, для баз данных или кешей.
https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner
#devops #девопс
Подпишись 👉@i_DevOps
Он сканирует ноды, находит локальные директории или блочные устройства и автоматически создает для них
PersistentVolume ресурсы. Такой подход полезен, когда нужно:- использовать быстрые локальные SSD для подов;
- минимизировать задержки по сравнению с сетевым хранилищем;
- избежать ручного управления PV.
Поддерживаются как файловые директории, так и raw-блоки. Также есть механизмы очистки после удаления
PVC (wipefs, shred, rm).Это решение активно применяют в продакшене для stateful-нагрузок, где важна производительность — например, для баз данных или кешей.
https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner
#devops #девопс
Подпишись 👉@i_DevOps
👍4
Kubernetes на сковородке: готовим самые вкусные кластеры
Сегодня технологические компании стоят перед выбором без выбора: если перед нами не стоит узкоспециализированная задача, то мы по дефолту идем работать в Kubernetes. Эта система универсальна и проверена годами, поэтому обойтись без нее практически невозможно.
Привет! Меня зовут Игорь Титов, я Product Lead системных инженеров в Garage Eight. В этой статье расскажу, что такое контейнеризация, как с ней помогает Kubernetes и почему важно уметь правильно его готовить.
https://habr.com/ru/companies/garage8/articles/845944/
#devops #девопс
Подпишись 👉@i_DevOps
Сегодня технологические компании стоят перед выбором без выбора: если перед нами не стоит узкоспециализированная задача, то мы по дефолту идем работать в Kubernetes. Эта система универсальна и проверена годами, поэтому обойтись без нее практически невозможно.
Привет! Меня зовут Игорь Титов, я Product Lead системных инженеров в Garage Eight. В этой статье расскажу, что такое контейнеризация, как с ней помогает Kubernetes и почему важно уметь правильно его готовить.
https://habr.com/ru/companies/garage8/articles/845944/
#devops #девопс
Подпишись 👉@i_DevOps
👍1
Media is too big
VIEW IN TELEGRAM
Депрессия и эмоциональное выгорание айтишника - личная история DevOps
Психология айтишников довольно таки сложная штука. Эмоциональное выгорание, депрессия среди программистов не редкое дело. Все из-за напряженной работы, малой подвижности и отсутствия поддержки и общения.
В интернете много видео: "Как не выгореть на работе?"; "Что такое эмоциональное выгорание?"; "Как понять, что ты выгорел?"; "К кому обращаться за помощью?", но мало кто рассказывает на своем реальном примере.
В этом видео я расскажу свою историю, как и почему я выгорел. Так же расскажу к каким последствиям может привести наплевательское отношение к себе и вовремя не вылеченное эмоциональное выгорание.
источник
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Психология айтишников довольно таки сложная штука. Эмоциональное выгорание, депрессия среди программистов не редкое дело. Все из-за напряженной работы, малой подвижности и отсутствия поддержки и общения.
В интернете много видео: "Как не выгореть на работе?"; "Что такое эмоциональное выгорание?"; "Как понять, что ты выгорел?"; "К кому обращаться за помощью?", но мало кто рассказывает на своем реальном примере.
В этом видео я расскажу свою историю, как и почему я выгорел. Так же расскажу к каким последствиям может привести наплевательское отношение к себе и вовремя не вылеченное эмоциональное выгорание.
источник
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍7❤2👎1
Гибкий SQL-экспортер для Prometheus
Этот репозиторий содержит сервис, который выполняет пользовательские SQL-запросы с гибкой периодичностью и экспортирует полученные метрики через HTTP для сбора Prometheus.
Активно используется с PostgreSQL в продакшене. В перспективе мы хотим поддерживать все базы данных, для которых доступны стабильные драйверы на Go. Мы открыты для вкладов и предложений.
На данный момент поддерживаются:
* Postgres
* ClickHouse
* AWS Athena
* MS-SQL
* MySQL
* Snowflake
* Vertica
* Materialize
* CloudSQL
https://github.com/justwatchcom/sql_exporter
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Этот репозиторий содержит сервис, который выполняет пользовательские SQL-запросы с гибкой периодичностью и экспортирует полученные метрики через HTTP для сбора Prometheus.
Активно используется с PostgreSQL в продакшене. В перспективе мы хотим поддерживать все базы данных, для которых доступны стабильные драйверы на Go. Мы открыты для вкладов и предложений.
На данный момент поддерживаются:
* Postgres
* ClickHouse
* AWS Athena
* MS-SQL
* MySQL
* Snowflake
* Vertica
* Materialize
* CloudSQL
https://github.com/justwatchcom/sql_exporter
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍2👎2
Неофициальный сервер, совместимый с Bitwarden, написанный на Rust (ранее известен как bitwarden_rs).
Альтернативная реализация сервера Bitwarden Client API, написанная на Rust и совместимая с официальными клиентами Bitwarden. Идеально подходит для самостоятельного размещения, особенно в случаях, когда запуск официального ресурсоёмкого сервиса может быть нежелателен.
https://github.com/dani-garcia/vaultwarden
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Альтернативная реализация сервера Bitwarden Client API, написанная на Rust и совместимая с официальными клиентами Bitwarden. Идеально подходит для самостоятельного размещения, особенно в случаях, когда запуск официального ресурсоёмкого сервиса может быть нежелателен.
https://github.com/dani-garcia/vaultwarden
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
🔥3👍1👎1
cert-exporter — это Kubernetes-экспортер метрик, который помогает отслеживать срок действия TLS-сертификатов. Он сканирует сертификаты в кластере (как секреты Kubernetes, так и файловые) и экспортирует их метаданные в Prometheus.С его помощью можно:
- Мониторить оставшееся время жизни сертификатов.
- Настраивать алерты в Prometheus/Grafana, чтобы заранее получать уведомления об истечении.
- Работать как с секретами Kubernetes, так и с внешними файлами сертификатов.
Очень удобно, если у вас в продакшене много сервисов с TLS, и вы хотите избежать ситуации, когда сертификат внезапно истёк.
https://github.com/joe-elliott/cert-exporter
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
💩5👍3❤1
Обзор Kwasm — оператора для запуска WebAssembly-приложений в кластере Kubernetes
Всем привет! На связи Дмитрий Силкин, DevOps-инженер компании «Флант». Мы продолжаем обзоры инструментов, которые позволяют использовать WebAssembly-приложения в кластере Kubernetes. Ранее мы запускали Wasm-приложение в Deckhouse Kubernetes Platform с помощью инструментов, которые предоставляет платформа. На этот раз воспользуемся готовым оператором — Kwasm.
https://habr.com/ru/companies/flant/articles/845804/
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Всем привет! На связи Дмитрий Силкин, DevOps-инженер компании «Флант». Мы продолжаем обзоры инструментов, которые позволяют использовать WebAssembly-приложения в кластере Kubernetes. Ранее мы запускали Wasm-приложение в Deckhouse Kubernetes Platform с помощью инструментов, которые предоставляет платформа. На этот раз воспользуемся готовым оператором — Kwasm.
https://habr.com/ru/companies/flant/articles/845804/
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍2
Безопасность Kubernetes: статьи и руководства про защиту кластеров
Недавно мы представили MWS Container Platform — платформу для управления приложениями и инфраструктурой на базе Kubernetes. А сегодня в статье предлагаем взглянуть на гайды по теме ИБ при работе с оркестратором: базовые материалы для начинающих, референсы для опытных инженеров и разборы распространенных ошибок. В целом материалам будет полезен системным администраторам, DevOps-инженерам и тем, кто начинает работать с Kubernetes.
https://habr.com/ru/companies/mws/articles/949678/
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Недавно мы представили MWS Container Platform — платформу для управления приложениями и инфраструктурой на базе Kubernetes. А сегодня в статье предлагаем взглянуть на гайды по теме ИБ при работе с оркестратором: базовые материалы для начинающих, референсы для опытных инженеров и разборы распространенных ошибок. В целом материалам будет полезен системным администраторам, DevOps-инженерам и тем, кто начинает работать с Kubernetes.
https://habr.com/ru/companies/mws/articles/949678/
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍1
Спускаясь с облаков в ад: развёртывание Kubernetes на Astra Linux. Часть 1
За годы работы с Kubernetes у нас было множество различных задач: от самых типовых развёртываний до крайне специфичных конфигураций и установок. Однако недавно в наших стенах решалась задача, которая заставила нас проявить творческий подход, выйти за рамки Kubernetes и даже немного сжульничать.
Всем привет, на связи Пётр. Сегодня мы рассмотрим автоматическое развёртывание ванильного Kubernetes на Astra Linux через Kubespray + Helm.
https://habr.com/ru/companies/nixys/articles/845938/
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
За годы работы с Kubernetes у нас было множество различных задач: от самых типовых развёртываний до крайне специфичных конфигураций и установок. Однако недавно в наших стенах решалась задача, которая заставила нас проявить творческий подход, выйти за рамки Kubernetes и даже немного сжульничать.
Всем привет, на связи Пётр. Сегодня мы рассмотрим автоматическое развёртывание ванильного Kubernetes на Astra Linux через Kubespray + Helm.
https://habr.com/ru/companies/nixys/articles/845938/
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Rexi — это простой, но мощный CLI-инструмент, созданный для разработчиков, дата-сайентистов и всех, кто хочет работать с регулярными выражениями прямо из терминала. Построенный на Python и использующий библиотеку Textual, rexi предоставляет удобный интерфейс командной строки для интерактивной работы с регулярными выражениями.
https://github.com/royreznik/rexi
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
https://github.com/royreznik/rexi
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍2
DevOps-ам будет интересно: в 2026 Yandex Cloud запускает новую зону доступности во Владимирской области на базе ЦОД мощностью 40+ МВт, рядом с уже действующим дата-центром.
- Задержка между зонами <1 мс
- Пропускная способность канала до 25,6 Тб/с
- Каналы связи между зонами полностью независимы друг от друга — отказоустойчивость на высоком уровне
- Энергоэффективность PUE = 1,1, на 27% ниже среднего по миру
Для микросервисов, баз данных и Kubernetes-кластеров это означает стабильное распределение нагрузки и предсказуемое поведение сервисов даже при высокой нагрузке. Новая зона особенно подходит для размещения кластерных приложений с синхронной репликацией.
- Задержка между зонами <1 мс
- Пропускная способность канала до 25,6 Тб/с
- Каналы связи между зонами полностью независимы друг от друга — отказоустойчивость на высоком уровне
- Энергоэффективность PUE = 1,1, на 27% ниже среднего по миру
Для микросервисов, баз данных и Kubernetes-кластеров это означает стабильное распределение нагрузки и предсказуемое поведение сервисов даже при высокой нагрузке. Новая зона особенно подходит для размещения кластерных приложений с синхронной репликацией.
Telegram
Техночат
Нейросети постепенно прорастают во все процессы бизнеса – от построения инфраструктуры до обеспечения безопасности клиентских сервисов и приложений. Представители Yandex Cloud на конференции Yandex Scale рассказали, как используют нейросети в своих сервисах…
Alaz: Продвинутый eBPF-агент для наблюдаемости Kubernetes – легко отслеживайте взаимодействия сервисов и метрики производительности в вашем окружении K8s. Получайте глубокие инсайты с помощью карт сервисов, метрик и других инструментов, оставаясь в курсе критических системных аномалий 🐝.
https://github.com/getanteon/alaz
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
https://github.com/getanteon/alaz
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍1
Короткий совет по Linux 💡
Если вы хотите очистить пустые каталоги, команда find может упростить эту работу:
Параметр -type d выполняет поиск каталогов, -empty выбирает пустые каталоги, а -exec rmdir {} выполняет команду rmdir для их удаления.
Команда rmdir гарантирует, что каталог пуст перед его удалением.
В качестве альтернативы, вы также можете использовать эту команду для выполнения той же задачи:
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Если вы хотите очистить пустые каталоги, команда find может упростить эту работу:
$ find . -type d -empty -exec rmdir -v {} +Параметр -type d выполняет поиск каталогов, -empty выбирает пустые каталоги, а -exec rmdir {} выполняет команду rmdir для их удаления.
Команда rmdir гарантирует, что каталог пуст перед его удалением.
В качестве альтернативы, вы также можете использовать эту команду для выполнения той же задачи:
$ find . -type d -empty -deleteМы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍4❤1
Autobase
Это инструмент, разработанный для автоматизации развёртывания и управления PostgreSQL-кластерами с использованием Ansible. Он поддерживает широкий набор функций, включая настройку репликации, автоматизацию резервного копирования с помощью инструментов, таких как pgBackRest и WAL-G, мониторинг состояния кластеров, а также настройку высокодоступной инфраструктуры (HA).
Проект упрощает настройку PostgreSQL и снижает вероятность ошибок, обеспечивая удобные плейбуки для типичных задач. Его можно использовать как для новых установок, так и для работы с существующими конфигурациями.
https://github.com/vitabaks/autobase
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Это инструмент, разработанный для автоматизации развёртывания и управления PostgreSQL-кластерами с использованием Ansible. Он поддерживает широкий набор функций, включая настройку репликации, автоматизацию резервного копирования с помощью инструментов, таких как pgBackRest и WAL-G, мониторинг состояния кластеров, а также настройку высокодоступной инфраструктуры (HA).
Проект упрощает настройку PostgreSQL и снижает вероятность ошибок, обеспечивая удобные плейбуки для типичных задач. Его можно использовать как для новых установок, так и для работы с существующими конфигурациями.
https://github.com/vitabaks/autobase
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍2
Media is too big
VIEW IN TELEGRAM
Kubelab: Виртуальная лаборатория Kubernetes
Проект Kubelab предлагает готовую инфраструктуру для обучения и экспериментов с Kubernetes. Лаборатория позволяет легко развернуть изолированные кластеры для изучения Kubernetes, тестирования приложений и разработки. Это идеальный инструмент для новичков и профессионалов, желающих оттачивать навыки или тестировать конфигурации в безопасной среде.
https://github.com/natrontech/kubelab
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
Проект Kubelab предлагает готовую инфраструктуру для обучения и экспериментов с Kubernetes. Лаборатория позволяет легко развернуть изолированные кластеры для изучения Kubernetes, тестирования приложений и разработки. Это идеальный инструмент для новичков и профессионалов, желающих оттачивать навыки или тестировать конфигурации в безопасной среде.
https://github.com/natrontech/kubelab
Мы в MAX
#devops #девопс
Подпишись 👉@i_DevOps
👍6