DevOps FM
4.79K subscribers
591 photos
12 videos
10 files
709 links
♾️ Канал для тех, кто живёт DevOps и системным администрированием.

Новости, статьи, best practices, инструменты и чилл-аут контент. Cloud Native, Docker, Kubernetes, CI/CD, БД, мониторинг etc.

По вопросам — Даше @marsycored
Download Telegram
📱 Далее на канале DevOps FM — пятничный chill out

В этом и этом видео Джей покажет вам 30 команд, которые ощутимо упростят работу с Linux.

Вот некоторые из них:

vim/etc/ssh/sshd_config + ctrl+fz : не закрывает, а сворачивает окно на задний план;
tail / head: позволяет увидеть нижнюю или верхнюю часть файла;
&: заставит команду работать в фоновом режиме.

🖖 Желаем приятного просмотра, хороших выходных и спокойных дежурных смен!
Please open Telegram to view this post
VIEW IN TELEGRAM
🥱14👍8🔥41🤡1
🖖 Всем DevOps! У вас когда-нибудь воскресали зомби?

🧟 Ресурсы-зомби (zombie resources) — это компоненты облачной инфраструктуры, которые существуют и работают бесцельно.

Они могут возникнуть из-за:
- сбоев в сценариях,
- неэффективно настроенных балансировщиков нагрузки,
- ошибок в базах данных SQL,
- ручной настройки (разработчик или сисадмин может, например, создать временный сервер для теста и забыть удалить уже ненужное хранилище).

Простаивающие ресурсы опасны по двум причинам. Во-первых, с компании взимается плата за ресурсы, которые она больше не использует. Во-вторых, эти зомби расширяют ту зону инфраструктуры, которую могут использовать злоумышленники.

🗑 Как снизить риски?

1) Сделайте ваши среды максимально наглядными. Визуализация потребления облачных ресурсов будет максимально понятной в виде диаграмм.
2) Присвойте теги ресурсам. Они должны быть ясными и понятными. Будет здорово, если в дополнение вы будете указывать название проекта и дату развёртывания;
3) Обеспечьте безопасность dev-среды. Важно очищать остатки ресурсов после завершения работы;
4) Проводите регулярные аудиты.

👩‍💻 В поисках зомби вам может помочь cAdvisor — инструмент, который анализирует использование контейнерами ресурсов.

#Docker #Ресурсы #Облако
Please open Telegram to view this post
VIEW IN TELEGRAM
👍157🔥2🥱2🤡1
📝 Bare-metal Kubernetes — спускайся с облаков

MetalLB — это решение для балансировки нагрузки в средах Kubernetes, которые не имеют доступа к встроенным балансировщикам, как в облачных провайдерах.

Новая статья Данила, DevOps-инженера компании Nixys, написана для тех, кто только начинает свой путь в мире Kubernetes и хочет понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB.

Вы узнаете, как связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности вашего бизнеса.

Приятного чтения!

#Хабр #статья_Nixys #devops #дляновичков
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥63🤡2
Дайджест в среду как коробка шоколадных конфет: никогда не знаешь, что тебе попадётся.

🟡 Сложно не упомянуть катастрофический сбой в работе СДЭКа. Скорее всего, компания стала жертвой вируса-шифровальщика.

Напомним, что ответственность за кибератаку взяла на себя хакерская группировка Head Mare. В бывшем Твиттере она опубликовала скриншоты уничтожения бэкапов и заявила, что админы сервиса доставки сохраняли резервные копии раз в полгода. Однако эксперты уверяют, что такая ситуация в принципе невозможна, так как в крупных компаниях бэкапы обновляют ежедневно. Кому верить – решать вам.

Сервис доставки планирует окончательно восстановиться не позднее сегодняшнего дня (сайт, например, уже заработал. Правда, частично).

⚫️ У Docker Docs появился Docker Docs AI — помощник на базе kapa.ai. Ассистент помогает быстро найти нужную информацию среди более 1000 страниц контента, причём диалоговый интерфейс позволяет задать дополнительный контекст для ваших вопросов. Ещё Docker Docs AI можно использовать в качестве инструмента отладки.

🟡 На Medium опубликовали полезную подборку фейлов при работе с Kubernetes. Автор разбирает разные случаи, — от пустяков до катастроф, — и даёт практические советы о том, как можно было этих ситуаций избежать.

⚫️ MongoDB получил сертификаты ISO 9001 (международный стандарт, устанавливающий требования к системе управления качеством в организации), TISAX (стандарт оценки ИБ, разработанный специально для автомобильной индустрии) и HDS (стандарт размещения медицинских данных во Франции).
🔥103👍2🤡2
👩‍💻 Docker Hub перестал работать на территории РФ

Теперь при попытке спуллить образ и hub.docker.com появляется такой текст ошибки:

Error response from daemon: pull access denied for [...], repository does not exist or may require 'docker login': denied: <html><body><h1>403 Forbidden</h1> Since Docker is a US company, we must comply with US export control regulations. In an effort to comply with these, we now block all IP addresses that are located in Cuba, Iran, North Korea, Republic of Crimea, Sudan, and Syria. If you are not in one of these cities, countries, or regions and are blocked, please reach out to https://hub.docker.com/support/contact/ </body></html>

Если написать в тех.поддержку, то вам придёт сообщение:

Hello there,
Thank you for contacting Docker Support.
At this time we are no longer doing business with Russian or Belarusian companies and have removed the ability to purchase subscriptions from these countries.
https://www.docker.com/blog/dockers-response-to-the-invasion-of-ukraine/
Since Docker is a US company, we must comply with US export control regulations. In an effort to comply with these, we now block all IP addresses that are located in Cuba, Iran, North Korea, Russia, Republic of Crimea, Sudan, and Syria.
Thank you for your kind understanding.


В сети каждый час появляется всё больше вариантов обхода блокировок. А какой способ вы знаете или уже используете?
Please open Telegram to view this post
VIEW IN TELEGRAM
🤬26👍10👎4🤡2🐳2
📱 Вероника Нечаева ищет DevOps-инженеров, ДИТов и техлидов SAAS решений, которые работают с чувствительными данными медицинских компаний. Она исследует рынок и ей нужно провести короткое интервью со специалистом о том, как обстоят дела в индустрии.

За уделённое время вы получите:

- Доступ к специализированной защищённой инфраструктуре под ваши чувствительные данные;
- Шаблоны политики обработки персональных данных для вашего приложения;
- Возможность обсудить интересующие вас вопросы, которые касаются информационной безопасности. Вероника имеет 15-летний опыт в InfoSec'е и готова поделиться своими знаниями.

📝 Вот форма для связи.

#партнёрский_пост
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13👎2🌭2😁1🤡1
👩‍💻 В эту пятницу покажем наши варианты обхода блокировки Docker Hub в России.

cri-o
добавить в файл /etc/containers/registries.conf следующий блок:
[[registry]]
location = "docker.io"

[[registry.mirror]]
location = "mirror.gcr.io"

и перезагрузить cri-o. Можно не переживать за контейнеры, они ребутаться не будут

containerd
добавить или отредактировать блок plugins в /etc/containerd/config.toml:
[plugins]
[plugins."io.containerd.grpc.v1.cri"]
[plugins."io.containerd.grpc.v1.cri".registry]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://registry-1.docker.io", "https://mirror.gcr.io"]

И перезагрузить containerd. Здесь тоже можно не переживать за запущенные контейнеры.

Kaniko
Если возникли проблемы при билде с помощью Kaniko, то можно решить проблему либо добавлением аргумента --registry-mirror mirror.gcr.io, либо с помощью переменной окружения KANIKO_REGISTRY_MIRROR="mirror.gcr.io". Мы, например, вынесли её на уровень админки GitLab, чтобы вообще не трогать .gitlab-ci.yml, поэтому рекомендуем воспользоваться именно переменной для более комфортного обхода блокировки.


🖖 Команда DevOps FM желает приятных выходных. А тем, кто работает или дежурит – спокойных рабочих смен!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥42👍10💩3🙏2🤡2
👩‍💻 “Что ж ты, фраер, сдал назад”: Docker Hub снова доступен в России

Наши подписчики заметили, что Docker Hub снова работает для пользователей из России.

Команда huecker.io несколько часов назад объявила:
Мы победили! Docker Hub снова доступен в России.

Поддержка huecker.io будет продолжаться до 14 июня 2024 года 15:00 UTC. После этого времени, мы начнём отключать сервисы обхода блокировки.

Документация останется доступной в исторических целях.
Это был невероятный опыт, и мы благодарим всех, кто поддерживал нас в течение короткого срока работы проекта.


Сам Docker пока никак не прокомментировал ситуацию.

💬 Как считаете, по какой причине сняли блокировку?

#DockerHub #блокировка
Please open Telegram to view this post
VIEW IN TELEGRAM
🤡21👍11🤣10🔥6🕊2
🖖 Всем DevOps! Мы хотим узнать вас, — наших подписчиков, — получше, чтобы публиковать по-настоящему интересный и полезный контент.
👍5👎1🤡1
Привет! Дайджест интересных новостей и статей из мира DevOps уже на ваших экранах:

🟡 Вышел релиз системы мониторинга Zabbix 7.0 LTS. С этой версии код проекта будет распространяться под лицензией AGPLv3.

Что нового? Например, добавили проверку корректности файлов конфигурации и режим синтетического веб-мониторинга с привлечением браузерного движка и использованием гибких сложных сценариев. Ещё повысили масштабируемость и скорость сбора данных, а также производительность и эффективность работы прокси за счёт хранения собираемых метрик в оперативной памяти без их промежуточного сохранения на диске.

Посмотреть все обновления можно здесь. А чтобы скачать новую версию — кликните сюда.

⚫️ На DEV попытались разобраться, почему отладка приложений в Kubernetes настолько проблематична. Шай считает, что причины две — это неизменяемость экземпляров контейнеров и ограничения команды kubectl exec. Он видит решение проблем в запуске эфемерных контейнеров. Из статьи вы узнаете, как использовать EphemeralContainers при отладке и почему установка недостающих инструментов с помощью apt-get install vim — плохая затея.

🟡 Anodot опубликовал обзор 15 лучших инструментов для управления облачными сервисами. В топ попали такие тулзы как общепринятая классика вроде OpenStack и Terraform, так и Zesty, Apache Cloudstack и CloudCheckr.

#DevOps #Kubernetes #Zabbix
10👍5👨‍💻5👎2🤡1
🎙 В эту пятницу слушаем “Ship it!” — подкаст обо всём, что происходит после git push.

Из недавних интересных выпусков:

#92 “Доставка в КООООСМОООС”: Эндрю Гюнтер делится опытом работы в Orbital Sidekick, инфраструктура которой находится на расстоянии тысячи миль — в космосе. Как работать в условиях постоянной 90-минутной задержки сигнала и чинить поломки? Как развивается рынок космических стартапов? И каким образом Ватикан нечаянно своровал целый спутник?

#95 “Контейнеры на диете”: выпуск о минимальных образах контейнеров и эволюции DockerSlim. Насколько маленькими могут стать образы? Что можно удалить, а что нужно оставить, чтобы контейнер остался полезным? И вообще, размер — это не главное.

#102 “Управление миллионами машин Meta” (да-да, той самой Meta Platforms Inc., что признана экстремистской организацией в России): в выпуске обсуждают, как Meta (мы вынуждены вновь упомянуть, что деятельность Meta Platforms Inc., вообще-то, является экстремистской и запрещённой в РФ) управляет миллионами хостов и контейнеров Linux на голом железе.

🖖 Желаем приятного прослушивания, хороших выходных и спокойных дежурных смен без серьёзных алертов!

#DevOps #подкасты
14👍6🤡2🌭1
👩‍💻 При работе с Git каждый использует базовый набор команд: commit, push и pull. Но у нас на руках есть множество относительно новых и удобных фич, которые знакомы не всем. DevOps-инженер Мартин решил исправить ситуацию и показать те, которыми он сам пользуется.

Вот некоторые из них:

git switch — переключает ветви. Между git switch и более универсальной git checkout есть ряд различий. К примеру, switch не копирует файлы из другой ветки в рабочее дерево без переключения веток. Ещё одно отличие: switch позволяет быстро вернуться на предыдущую ветку без необходимости указывать её название или идентификатор, в то время как git checkout <previous-branch> требует ввода названия ветки.

git restore — восстанавливает файл до версии последнего коммита. Заменяет и упрощает некоторые из способов использования слишком перегруженных фич git reset и ранее упомянутый git checkout.

#DevOps #git
Please open Telegram to view this post
VIEW IN TELEGRAM
👍173🔥3🤡2🌭1
📝 Шифрование бэкапов в ClickHouse: виды, инструменты и настройка

Один из клиентов компании Nixys обнаружил, что резервные копии ClickHouse, которые он хранит в S3 провайдера CROC, не очень-то и шифруются. А ФСТЭК суров. Была поставлена задача: настроить шифрование бэкапов.

В новой статье Николай, DevOps-инженер Nixys, покажет, как они это сделали. Вы узнаете о различных методах шифрования данных на стороне сервера в Amazon S3 — SSE-C, SSE-KMS и SSE-S3. А ещё познакомитесь с таким инструментом как clickhouse-backup.

Приятного чтения!

#Хабр #статья_Nixys #devops #ClickHouse
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73🔥3🤡2🤣2
🖥 SQL исполняется 50 лет. Сегодня вспоминаем историю его создания

В далёком 1970 году Тедд Кодд, информатик из IBM, опубликовал революционную статью под названием «A Relational Model of Data for Large Shared Data Banks», тем самым заложив основы теории реляционной модели данных.

Поначалу IBM не горела желанием внедрять наработки Кодда. В то время у компании была IMS, довольно успешная иерархическая база данных, которая поддерживается до сих пор. Лишь спустя три года, в 1973 году, IBM запустила System R — исследовательский проект по изучению теории Кодда. Удивительный факт: сам Тедд практически не принимал участия в разработке. Зато активно трудились двое других сотрудников IBM — Дон Чемберлин и Рэй Бойс, которые ещё до запуска проекта разработали язык SQUARE.

В синтаксисе SQUARE было много нижних индексов и некоторые математические обозначения. Печатать команды с клавиатуры было непросто. Чемберлин и Бойс решили сделать язык более простым и удобным, таким, чтобы он напоминал структуру английского предложения. Так и появился SEQUEL, который впоследствии переименовали в Structured Query Language — «язык структурированных запросов».

Первый выпуск SQL состоялся в июне 1974 года.

Как к SQL относился Тедд Кодд? Он считал, что язык структурированных запросов неправильно реализовывал теорию реляционной модели данных. В борьбе с недобросовестными поставщиками СУБД Кодд опубликовал «12 правил Кодда», описывающие, что должна содержать реляционная СУБД. Стоит ли говорить, что SQL сам по себе не соблюдает их все?

📺 Советуем посмотреть двухсотый эпизод DataCamp’а, посвященный 50-летию SQL. В нем сам Дон Чемберлин с любовью рассказывает о своём детище.
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥5👍4👏2🥱2
☄️ Приглашаем на вебинар коллег «Serverless: трюки и советы на практике» совместно с Yandex Cloud

16 июля в 19:00 по Алматы вы погрузитесь в тему Serverless и на практике узнаете возможности бессерверной архитектуры.

Yandex Cloud в Казахстане. Расскажут, что из себя представляют сервисы Yandex Cloud на базе дата-центра в Казахстане, а также о планах по дальнейшему развитию платформы. Обсудят, какие преимущества и возможности может дать партнерство с Yandex Cloud локальному бизнесу.
Serverless подход к архитектуре. Разберут основы и принципы Serverless: какие задачи он решает, и как его применение позволяет оптимизировать процессы разработки и развертывания приложений.
Способы применения Serverless: для чего подходит, а для чего не годится. Проанализируют различные сценарии, рассмотрят, кому подходит этот подход, а кому — нет. Обсудят плюсы и минусы и разберут, что такое cloud native. Поделятся рекомендациями по выбору подходящей архитектуры в зависимости от специфики задач.
Воркшоп по сервисам Яндекса для Serverless. Проведут практическую работу с триггерами для Yandex Cloud Functions, показав, как эффективно использовать их для автоматизации процессов. Поделятся методами оборачивания всего этого в инфраструктуру как код (IaC).

👉 Регистрируйтесь здесь

Ссылку в день вебинара вы найдёте в @DevOpsKaz.
#партнёрский_пост
🔥7👍41👏1
💻 Начинаем серию постов про ключевые подходы к мониторингу SRE.

U.S.E. Method — это популярная методология сбора метрик для анализа производительности любой системы. USE направляет внимание на ресурсы и помогает понять, как они ведут себя при наличии нагрузки. Эту методологию создал инженер Брендан Грегг, эксперт в области производительности систем, который сейчас работает в Intel.

Метод USE можно резюмировать так:

For every resource, check utilization, saturation, and errors.


Utilization (утилизация): сколько памяти используется и сколько доступно. Проверять нужно как физическую, так и виртуальную память. Измеряется в процентах за интервал времени. Пример: один диск работает с загрузкой 85%.

Saturation (насыщенность): то, насколько загружен ресурс, т.е. отношение необработанного трафика к обработанному. Измеряется в единицах как длина очереди. Пример: средняя длина очереди диска равна 3.

Errors (ошибки): программные и аппаратные ошибки. Выражается в скалярной величине. Пример: этот сетевой интерфейс имел 40 поздних коллизий.

Из интересного: в своём блоге Брендан разобрал парадокс эталонных показателей. А здесь он рассказывает про принципы активного тестирования.

#DevOps #SRE #мониторинг
🔥13👍93
Всем DevOps! С осторожностью деплоим подборку новостей и статей.

🟡 Важная новость: в целях улучшения системы безопасности Grafana прекращает поддержку API-ключей. Теперь нужно использовать ставшие общедоступными Service Account Tokens. Здесь вы найдёте подробную инструкцию по переходу с ключей API на SAT.

Советуем заранее подготовиться к переменам и закончить переход до 31 декабря 2024 года, чтобы избежать внезапных перебоев и ошибок.

⚫️ Docker зарелизил Docker Desktop 4.31. Из обновлений: air-gapped контейнеры стали общедоступными. Они позволяют ограничить доступ к Интернету, таким образом предотвращая нежелательную загрузку и выгрузку данных. Ещё добавили две новые фичи, которые пока что находятся в стадии бета-тестирования, — File Viewer для просмотра файлов конфигурации Compose и поддержку проверки сборок GitHub Actions непосредственно в Docker Desktop.

🟡 ProDevOpsGuy опубликовал 100 лучших практик Linux. Есть как очевидные для опытных пользователей рекомендации, так и неожиданные советы. Переходите по ссылке и проверяйте, многих ли best practices вы придерживаетесь :)

⚫️ В блоге Oracle вышел небольшой пост про непопулярные, но полезные функции MySQL Shell.
👍133🔥3
☁️ Архивные проекты CNCF

CNCF создаёт, развивает и поддерживает экосистему облачных технологий с открытым исходным кодом. Под крылом фонда — более 170 проектов.

Но что будет, если один из этих продуктов завершит свой жизненный цикл и уйдёт (или вытеснится) с рынка? Или команда проекта больше не захочет получать поддержку Technical Oversight Committee (TOC, Комитета Технического Надзора)? Или наоборот — TOC перестанет рекомендовать технологию? В таком случае проект получит статус архивного.

🗄 Что это значит? Он больше не будет получать помощь через службу поддержки и не сможет позиционировать себя как часть CNCF. Предыдущие статусы, такие как «Sandbox», «Incubating» или «Graduated», будут аннулированы.

Архивация в CNCF — это долгий многоэтапный процесс, во время которого разработчики ещё могут исправить ситуацию. Если проект всё же заархивировали, то он будет храниться в Linux Foundation. Ментейнеры смогут продолжить работу над ним и, если захотят, — повторно активировать.

На сегодняшний день в архиве CNCF находятся 8 проектов. Среди них:

• движок для контейнеров rkt, который не выдержал конкуренции с containerd от Docker Inc и cri-o от RedHat.
• утилита Brigade для запуска скриптов, исполняемых в кластере Kubernetes, которая перешла к Microsoft от купленной Deis. В 2022 году проект изжил себя, оставшись без ментейнера и активных участников.
OpenTracing, так как OpenTracing и OpenCensus объединились в платформу OpenTelemetry.

#DevOps #CNCF #opensource
👍9🔥2👨‍💻2😁1
💻 Продолжаем серию постов про ключевые подходы к мониторингу SRE.

R.E.D. Method — это методология, которая используется для высокоуровневых сервисов, обслуживающих запросы (например, веб-сервисы, запросы баз данных и т. д.). Она основана на разработанных командой Google SRE «Четырёх золотых сигналах». О них подробнее мы поговорим в четверг.

RED-поход предложил Том Уилки, который является техническим директором Grafana Labs и состоит в команде Prometheus:

Нам действительно хотелось использовать философию мониторинга, ориентированную на микросервисы. Именно поэтому мы придумали метод R.E.D.


В концепции R.E.D. используется три показателя:

Rate (скорость): количество запросов в секунду.
Errors (ошибки): количество неудачных запросов в секунду
Duration (продолжительность): время, которое занимает каждый запрос на каждой фазе.

Цель метода RED — проанализировать, насколько удобно и комфортно пользоваться сервисом в первую очередь конечным пользователям.

#DevOps #SRE #мониторинг
14👍102🔥1