Просто Devops
27.6K subscribers
117 photos
4 videos
10 files
160 links
Платформа: https://prostodevops.ru/l/kanal
Отзывы: https://t.me/prosto_devops_reviews

Менеджер - @devmoder
Матвей - @greghouse134
Миша - @misha_devops
Ютуб - youtube.com/@prosto_devops

Бот - @prostodevops_bot
Download Telegram
Сегодня у нас простой вопрос.

ЯПы ДЕВОПСУ НЕ НУЖНЫ.

Ну ладно, скажем так — надо уметь читать код. Углубляться в какие-то библиотеки, продвинутую прогу — незачем.
Поэтому достаточно знать синтаксис какого-нибудь питона и уметь на нём писать простые скрипты.

И то, в работе вам чат-гпт напишет любой скрипт, надо только объяснить ему, что от этого скрипта требуется, а потом проверить, что он отрабатывает корректно, если что — поправить.

Поэтому — синтаксис, чтобы уметь прочитать, и понимание логики, чтобы понимать, что требуется сделать.

Главное, что надо понять: даже если вам поручат написать какой-то скрипт — это будет что-то примитивное.

Поэтому не парьтесь с ЯПами.
Оставьте код разработчикам, мы занимаемся другим.

Что касается "как понять хватает ли навыков" — если это тоже насчет ЯПов — вот даже если вы вообще ничего не знаете — этого в целом хватает.
Если этот вопрос про навыки в целом — как раз последний пост был про это
👍37🔥11❤6
Понедельник — сложный день, опять работа, опять вот это всё..

А мы решили вас порадовать новым роликом, на этот раз поговорили про ИБ.

Смотрим:
https://www.youtube.com/watch?v=wgvQ6eJlbXw

P.S. Как вам новый монтаж и превью?
🔥13❤8👍3😍1
Как лучше входить в девопс?

Рассмотрим оба подхода (см. вопросы на скриншотах) с разных сторон.

1. Простота освоения.
Через системное администрирование/разработку:
— Это проще для новичков, так как можно постепенно освоить базовые навыки, необходимые для DevOps.
— Сисадминство дает понимание инфры, работы серверов, сетей и ОСей — тоже основа для девопс.
— Разработка помогает освоить работу с системами контроля версий (Git) и познакомиться с CI/CD (если говорить про разработку в больших командах/проектах).

Напрямую в DevOps:
— Путь сложнее, особенно для новичков без опыта в IT. Потому что девопсу нужны широкие знания: Linux, Docker, Ansible, CI/CD (Gitlab/Jenkins). А плюсом — k8s, terraform, но тут новичкам хватит базового представления.

2. Деньги.
Через системное администрирование/разработку:
— Зарплаты джунов сисадминов (что это вообще за позиция?😁) или джунов разрабов ниже, чем у джунов девопсов.

Напрямую в DevOps:
— Быстрее будете получать нормальную ЗП. Даже джуны девопсы могут получать столько, сколько мидлы в других IT-сферах.

3. Карьерный трек.
Через системное администрирование/разработку:
— Простой и "классический" путь в девопс

Напрямую в DevOps:
— Рынок DevOps активно растет. Спрос на спецов высокий. Денег платят больше, чем остальным.
— Конкуренция среди джунов огромная. (По крайней мере это выглядит так, на деле всё немного сложнее - откликов на джуновские позиции действительно очень много, но среди них достойных кандидатов - минимум, по этой теме есть очень много исследований от разных авторов)
— Наиболее простой успешный старт будет через стажировку.

4. Как попасть сразу в DevOps на хорошее место.
— Стажировка в крупной компании — безопасно, всё покажут, ничего не требуют. Можно остаться дальше джуном с нормальной ЗП.
— Крутануть опыт и идти по собесам. Опаснее, так как при устройстве уже будут ожидать какие-то умения. Но сразу хорошая ЗП, не нужно заниматься чем-то отстранённым перед тем, как попасть наконец-то в девопс. Но накрутка — наука тонкая, есть разные подводные камни и сложности.

Дополнительно:
— Точно не рекомендуем идти через разработку, так как там надо учить много того, что, скажем так, не нужно девопсу.
— Самые простые позиции для старта и дальнейшего перехода в девопс: тех. поддержка, сис. админство, дежурная смена.
— Накрутка опыта — эффективный способ выиграть в гонке за вакансию у других кандидатов. Но тема сложная.

Поэтому если у вас есть время, и вы хотите спокойно вливаться в ремесло — стажировки и подобные начальные ступени — лучший выбор.

Понятно, что таких мест не так много, поэтому следующий простой вариант — сис. админить или тех. поддерживать, а оттуда перекатываться в девопсы.

Если хотите сразу в девопс, готовы на ходу разбираться, не пугают потенциальные бессонные ночи из-за того, что чего-то не знаете и приходиться закапываться в гугл — можете крутить опыт (но если выбрали этот путь — лучше обратитесь к тем, кто помогает с накруткой, так вы сэкономите и время, и силы, и нервы)

Что касается "бэкграуда админа" — нигде в определении DevOps нет "эволюционировал из сис. админа".
Просто всем нужен опыт работы. У большинства работодателей нет времени и денег на обучение сотрудников для себя. А тех, у кого есть — вы прекрасно знаете: все стажировки и школы яндекса, сбера, озона и так далее.
🔥26👍7❤6🤯1🤩1
Начнем с того, что про докер у нас есть видео на ютубе.

Говорить о том, что докер — это платформа контейнеризации уже становится неудобно).

Давайте кратенько о том, как он устроен:

Docker использует клиент-серверную архитектуру.
— Есть клиент — Docker CLI — командная строка, где мы отдаём команды докеру.
— Есть демон (Docker Daemon) — серверная часть, которая выполняет эти команды.
— Есть API, по которому клиент общается с демоном.

Контейнеры.
— Контейнеры работают на общем ядре хоста. Но изолированы друг от друга и от хоста благодаря механизмам ядра Linux (namespaces и cgroups).

Компоненты Docker.
— Образ (Docker Image) — шаблон для создания контейнера. Содержит всё для запуска (код, библиотеки и тд).
— Контейнер (Docker Container) — изолированное окружение, созданное на основе образа.
— Регистри (Docker Registry) — хранилище образов, например, Docker Hub.
— Dockerfile — текстовый файл с инструкциями для сборки образа.
— Сети и тома.

Ещё.
— Есть условный docker compose, чтобы управлять сразу некоторым количеством контейнеров.
— Есть docker swarm — оркестратор. Считайте кубер на минималках.

Для тех, кому интересно, что за namespaces и cgroups:
Неймспейсы создают изолированные пространства для процессов, чтобы они не видели ресурсы других процессов, вот некоторые из них:
— PID namespace — изолирует id процессов
— Network namespace — изолирует сеть
— Mount namespace — изолирует файловые системы
— User namespace — изолирует пользователей и группы

Cgroups (Control Groups) управляют использованием ресурсов:
— Ограничивают доступ к CPU, памяти, диску и сети.
То есть можно задавать приоритеты или лимиты, например: можно ограничить контейнер на 256мб памяти или 20% процессорного времени.
👍22❤6🤩4😍2
Друзья! Мы запускаем закрытое сообщество СЛОЖНО DEVOPS

В комментариях к нашим постам и на просмотрах интернета постоянно всплывают вопросы:
— Как учиться?
— С чего начать?
— Где начинается и заканчивается БАЗА того или иного инструмента?
— Что надо знать 100%, что надо иметь в виду, а изучение чего можно отложить?
— Где искать практические задания?
А также:
— Как составить резюме?
— Как вести переговоры об оффере?
— Какие нюансы технологий и работы с ними надо учитывать?
— Как устроены процессы в компании?

И это лишь МАЛАЯ ЧАСТЬ.

Информации очень много, а найти ответ — настоящее испытание.

Именно поэтому мы решили собрать всё это и даже больше.

🧠 Уже сейчас внутри сообщества вас ждут:

— Лекции, полезные видео и материалы по всему девоПСУ
— Гайды и практики по Linux, docker, k8s, ansible, ci/cd, git, etc... (готов подробный контент план на 30 видео вперед)
— Разборы вакансий для всех грейдов
— Практические видео с разбором конкретных рабочих кейсов

🔨 Объемные практические задачи для любого уровня знаний
— Сможете потестить свои навыки на задачах + если отправите отчет, то мы его проверим и дадим фидбэк
— Видео и практики по Linux уже ожидают просмотра и выполнения✅

Когда речь заходит о трудоустройстве — мы постоянно говорим о том, что надо смотреть записи собесов, чтобы понимать, на что рассчитывать и к чему готовиться. Так вот в сообществе вас уже ждут:

😏 Реальные собеседования DevOps (сейчас уже 🔞 штук, будем постоянно дополнять собесами ребят, с кем работаем по трудоустройству)

🧐 Гайды, статьи, etc...

😐 Сообщество
— Ответим на любые вопросы, которые у вас могут возникнуть
— Первыми сможете получить доступ к новым продуктам
— Сможете влиять на контент, так как мы прислушиваемся к своим драгоценным подписчикам

Особенно рекомендуем посмотреть наш разбор gitflow — познакомиться с процессами разработки и узнать, что везде используется, но не часто вспоминается в интернете, когда речь идет о том, что надо знать.

А завтра в сообществе выйдет подкаст о том, как относиться к первому офферу, и почему не стоит сразу его принимать.

UPD: сообщество более не активно
Please open Telegram to view this post
VIEW IN TELEGRAM
🤡23🔥10👍5❤1🤩1
❔ КАК ХРАНИТЬ СЕКРЕТЫ В ДОКЕРЕ?

Хранить токен прямо в Docker-образе
— на самом деле нормальный подход, очень удобно.

Что может произойти с образом?
Его легко слить, сломать, украсть или ты сам можешь случайно выложить его в репу, а там тоже привет утечка и минус бот.

Поэтому:
❌ Хранить токен прямо в Docker-образе — это конечно же полная ху#ня и так делать не надо,

✅ КАК ДЕЛАТЬ ПРАВИЛЬНО?

1️⃣ Переменные окружения (environment variables)
Супер простой, супер базовый способ.

Добавляем такую штуку в докерфайл:
ENV BOT_TOKEN your_token_here


Потом просто запускаем контейнер с внешним токеном:
docker run -e BOT_TOKEN='наш токен' botname


НО! Осторожно — не светим токен в репах. Иначе толку от того, что мы это всё сделали?
Для этого используем .env файлы и сразу добавляем их в .gitignore.
docker run --env-file=.env my_awesome_bot


2️⃣ Docker secrets
Это продвинутый типа способ, но конечно для бота — перебор.
Но вообще рассмотрим, так как это что-то, что можно встретить в реальной жизни:

Docker Secrets работают только в режиме Docker Swarm. Чтобы его активировать:
docker swarm init

Эта команда переводит Docker в режим оркестрации.

Создание секрета
После активации Swarm можно создать секрет. Например, чтобы сохранить токен бота:
echo "ваш_токен" | docker secret create bot_token -


Проверить список созданных секретов можно командой:
docker secret ls


Настройка Docker Compose
Теперь нужно настроить docker-compose.yml, чтобы контейнер мог использовать созданный секрет:
version: '3.7'

services:
my_bot:
image: bot_image # имя образа бота
secrets:
- bot_token # секрет, который будет доступен контейнеру

secrets:
bot_token:
external: true # Говорим Docker, что секрет уже создан и находится вне этого файла


Запуск контейнера
Запустите контейнер с помощью команды:
docker stack deploy -c docker-compose.yml my_stack


— my_stack — имя стека (можно выбрать любое).
— Эта команда развернёт сервис и подключит секрет к контейнеру.

Доступ к секрету внутри контейнера
Секреты становятся доступными внутри контейнера в виде файлов в каталоге /run/secrets. Например, чтобы прочитать токен, ваш бот может использовать путь /run/secrets/bot_token.

Например, если бот написан на питоне, то получить токен можно примерно так:
with open('/run/secrets/bot_token', 'r') as f:
bot_token = f.read().strip()


Только те контейнеры, которым явно предоставлен доступ к секрету могут его использовать.

ИТАК, ЧТО ПОНЯТЬ ПРЯМО СЕЙЧАС:

— Никогда не храните токены в коде.
— Всегда используй переменные окружения или Docker secrets.

Учите докер, господа, чтобы жизнь была проще.

🤖Всем безопасных ботов
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥29👍8❤3🤯3😁1
Все же слышали про LA?

Речь не про город, а про метрику в Линукс.

Если посмотрите в интернетике - вам скажут, что load average отражает количество процессов, которые выполняются за 1, 5 и 15 минут.
Это утверждение слишком размытое, а мы внесём ясность.

Кстати, спасибо Брендану Греггу, который прочитал тридцать тысяч коммитов, чтобы разобраться в la и поделился всем с миром.

la сначала действительно обозначал среднюю нагрузку на процессор, а с 93го года отражает нагрузку на систему в целом.

Как?
Очень просто: к загрузке процессора ещё добавились процессы в очереди.⬇️
load average учитывает процессы в статусах running и nr_uninterruptible (ещё uninterruptible sleep или TASK_UNINTERRUPTIBLE), а в выводе команды top — это процессы в R и D соответственно.

Ещё раз:
la отображает среднее количество процессов, которые выполняются или ожидают выполнение каждые 5 секунд в течение 1, 5 и 15 минут соответственно.

То есть — la показывает не количество всех процессов, которые выполнялись за 1,5,15 мин, а среднее количество процессов в исполнении/ожидании за прошедшее время.

Пример, чтобы было понятнее:
Условно, если первые 30 секунд выполнялось/ожидало суммарно 2 процесса, а за следующие 30 — 6 процессов, то la за минуту будет (2+6)/2 = 4.
А если первые 20 — 2, следующие 20 — 0, а в завершающие 20 — 6, то (2+0+6)/3 = 2.67.

Это самое простое, при этом самое понятное объяснение la, которое должно расставить всё по местам и стать вашем супер-ответом на собесе.

А вообще мы хотим сделать целое видео про la, где уже глубже и с деталями объясним как она работает.

Всем хорошего завершения рабочей недели🤝
👍51🔥11❤4🤯2👎1
🔥 init

Вы ждали, вы просили, сегодня это случилось...

Мы выпустили новый курс! На этот раз по Linux.

Традиционно:
— без воды
— самое нужное
— понятным языком
— максимальный упор на закрепление
— фокус на практику
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥26😁6😱2😍2👍1
Мы начинаем рубрику разборов вопросов с собеседований в DevOps.
Здесь не будет какой-то структуры и порядка, просто берём любой вопрос и разбираем.

Собственно первый вопрос:
— Что такое inode?

Дословно: индексный дескриптор.

Понятнее: структура данных, которая хранит метаданные файлов и обеспечивает управление дисковым пространством*.

Системно: айноды содержат все метаданные о файле, кроме имени и фактического содержимого. Каждый файл имеет свой уникальный inode, который является его идентификатором.

*Управление дисковым пространством:
— inode указывают, где лежат данные файлов
— inode определяют количество файлов, которые могут быть созданы
— inode позволяют хранить данные не в последовательных блоках на дисках, а просто где есть свободное место (см. фрагментация)
— inode позволяют создавать хардлинки

Базово на собесе этого может хватить, но могут начать копать, поэтому едем дальше.

Чуть подробнее о метаданных, че в айнодах вообще лежит (ключевое):
— Права доступа (чтение, запись, выполнение)
— Идентификаторы (UID и GID)
— Размер файла в байтах
— Временные метки (создание, модификация, последний доступ)
— Количество хардлинков
— Указатели на блоки данных

Номера inode уникальны в пределах одной файловой системы, но могут повторяться в разных разделах.

Допустим есть два раздела:
— /dev/sda1 (смонтирован как /home)
— /dev/sda2 (смонтирован как /data)

В каждом разделе своя собственная файловая система и свой набор inode.
— На разделе /dev/sda1 файл /home/user/file1.txt может иметь номер inode 12345.
— На разделе /dev/sda2 файл /data/report.doc тоже может иметь номер inode 12345.

Это разные файлы, потому что они лежат на разных разделах, и их inode - это просто адрес внутри своего раздела.

Посмотреть inode файла можно командой ls -i
Для получения полной информации можно использовать stat

Вот так это выглядит:
$ ls -i prosto_devops.txt
789451 prosto_devops.txt

$ stat prosto_devops.txt
File: prosto_devops.txt
Size: 4096 Blocks: 8 IO Block: 4096 regular file
Device: fd01h/64769d Inode: 789451 Links: 1
Access: 2025-04-28 14:30:00.000000000 +0300
Modify: 2025-04-28 14:30:00.000000000 +0300
Change: 2025-04-28 14:30:00.000000000 +0300


Количество inode задается при форматировании файловой системы параметром -i в mkfs.ext4:
mkfs.ext4 -i 16384 /dev/sdb1  # 1 inode на 16 КБ пространства

В этом примере мы указываем, что на каждые 16 КБ пространства выделяется 1 inode

Ещё с айнодами связаны такие ошибки:
— Ошибка "No space left on device" при наличии свободного места
— Невозможность создания новых файлов
Это происходит из-за того, что закончились номера айнодов, то есть файлу нельзя дать номер.

Поэтому рекомендуемое соотношение пространства к айнодам зависит от ожидаемого размера файлов. Для систем с преобладанием мелких файлов (менее 4 КБ) используют -i 1024

Ну и inode реализованы по-разному в разных файловых системах

Ключевое отличие ext4 от, например, ZFS, Btrfs, XFS в том, что последние позволяют динамически добавлять inode.
Плюс в этих системах есть ещё другие отличия, но это уже не так важно.

Всем успешных собесов!
#собес
🔥47👍12❤8🤯1
— Ты удалил файлы, а место не освободилось. Почему так может быть?

В целом тут ожидают ответ: "закончились айноды". Ну типа мы удалили условно тяжелый файл, освободилась всего одна айнода, а её в этот момент занял кто-то другой — как итог: физически место есть, а выделить его мы не можем.

Но это один из тех вопросов, где можно начать накидывать варианты, таким образом показав, что реально что-то знаете, а не готовились по подборке "самые популярные вопросы".
Ну так а какие тут ещё варианты?

Вот такие:

Открытые файлы.
Процессы держат файлы открытыми даже после удаления этих самых файлов.
Когда вы удаляете файл через rm или файловый менеджер, система удаляет ссылку на файл из каталога, но пока какой-либо процесс держит файл открытым, физическое пространство не освобождается.

Жесткие ссылки.
Мы удалили hardlink.
Когда на файл существует несколько жестких ссылок, удаление одной ниче не делает. Физически файл удаляется только после удаления всех жестких ссылок, указывающих на его inode.

Накидайте в комментах ещё вариантов, почему после удаления файла, место может не освободиться.

#собес
🔥31👍6🤯5❤3😱1
Просто Devops
hardlink
— В чем разница между хардлинками и симлинками?

Раз уж речь зашла о ссылках, то почему бы и не обсудить.
Этот чаще встречается на собесах у джунов.

Начнем с азов:
Ссылка — это дополнительный способ обратиться к уже существующему файлу.

🪨Жёсткая ссылка (hard link)
:
Указывает напрямую на inode файла и не может ссылаться на директорию. То есть это просто ещё одно имя для тех же данных, поэтому они имеют одинаковый inode и права доступа с исходным файлом.
Жесткие ссылки нельзя создавать между разными файловыми системами и разделами. Если изменить файл через любую из жестких ссылок, которые на него указывают. Файл физически удаляется только после удаления всех жёстких ссылок на него.

🪶Мягкая (она же символическая) ссылка (soft link, symlink):
Является отдельным файлом и указывает путь к другому файлу или каталогу. Указывает на имя файла, а не на его inode. Плюс она может указывать на объекты в других файловых системах и разделах.
Символическая ссылка имеет свой собственный inode и права доступа, которые не связаны с исходным файлом.
Если исходный файл переместить, переименовать или удалить, символическая ссылка станет битой и будет указывать в никуда, а удаление символической ссылки не влияет на исходный файл.

✅❌Сравним по пунктам:

— На что указывает ссылка:
🪨hardlink — на inode
🪶symlink — на имя файла

— Может ссылаться на каталоги?
🪨hardlink — нет
🪶symlink — да

— Работает между разделами?
🪨hardlink — нет
🪶symlink — да

— После удаления исходного файла..*
🪨hardlink — продолжает работать
🪶symlink — становится битым

— inode с исходным файлом:

🪨hardlink — совпадает
🪶symlink — отличается

— Права доступа с исходным файлом:
🪨hardlink — совпадают
🪶symlink — отличаются

Удаление ссылки:
🪨hardlink — файл удаляется, если это последняя ссылка
🪶symlink — не влияет на файл

⁉️ *Предостерегая ваши вопросы:

В Linux файл — это структура, хранящаяся на диске (inode), к которой могут вести одно или несколько имён.

Понятия "оригинальный файл" и "жесткая ссылка" — это просто разные имена одного и того же объекта.

Удаление файла — rm имя_файла в Linux — это удаление одной ссылки (имени) на данные файла, а не самих данных с диска.

После удаления одного из имён (например, исходного файла), остальные жёсткие ссылки продолжают указывать на те же данные, — данные не удаляются.

Система освобождает место на диске только если удалена последняя жёсткая ссылка.

А мягкая ссылка больше всего напоминает ярлык в винде.

🏁 Итог такой:
— Жёсткая ссылка — это дополнительное имя для файла на уровне файловой системы. Работает только в пределах одной файловой системы и только для файлов.
— Мягкая ссылка — это отдельный ярлык на имя другого файла или каталога, может работать между разделами и с каталогами, но становится нерабочей при удалении или перемещении исходного файла.

Всем пис!
#собес
👍37🔥12❤10🤩3😱1
Что только не встретишь на собесах джунов...

Например:
Блиц-вопросы по линуксу

— 1.Какой командой посмотреть текущие процессы в системе?
— 2. Как узнать, сколько свободного места на диске?
— 3. Чем отличаются команды cp и mv?
— 4. Как найти строку "error" во всех файлах текущей директории?
— 5. Как посмотреть последние 10 строк файла?
— 6. Как сменить права доступа к файлу на 755?
— 7. Как узнать, на каком порту слушает процесс?
— 8. Как посмотреть переменные окружения?
— 9. Как завершить процесс по PID?
— 10. Как посмотреть список всех пользователей в системе?
— 11. Как посмотреть все открытые сетевые соединения?
— 12. Как вывести только уникальные строки из файла?
— 13. Как узнать, сколько памяти сейчас используется в системе?

Ответы в первом комментарии
🔥45👍9❤8😁6
Хотели вам что-нибудь связанное с майскими написать, но че-то не написали))

Короче поздравляем всех с праздниками и желаем хорошо отдохнуть!

А вообще в работе девопса есть интересная штука — дежурства называется.
НЕ ВЕЗДЕ — это зависит от конкретной компании, позиции и команды. Но в 1 из 4 вакансий вы будете это встречать.

Зачем это надо?
— бесперебойная работа сервисов
— быстрый фикс инцидентов

В целом — это логичная вещь, потому что бизнесу надо, чтобы сервис работал 24/7 и приносил деньги, а не убытки.

Дежурства, кстати, бывают разные:
— дневное (просто выбирают чела, который в рабочее время отвечает за доступность)
— круглосуточное (назначают дежурство на сутки кому-то из команды — если че-то сломается, даже ночью — будь добр быстро пофиксить)
— бывают места, где график в целом сменный именно для этого, условно 12 часов днем, 12 часов отдых, потом 12 ночью, потом два дня отдыха

В идеальном мире есть специальная команда, которая отвечает чисто за доступность — они изначально устраиваются дежурить, и на обычных девопсов эта ноша не ложится.
Ещё в идеальном мире, даже если ноша всё-таки ложится на девопса, то он не должен делать ничего, кроме мониторинга и реакции на те самые инциденты.

Наш мир, кстати, не идеален.

Ну и очевидно, что вся эта практика с дежурствами может привести к выгоранию, плохому режима сна, стрессу и так далее.

Поэтому перед тем, как искать работу в девопсе — ответьте себе на вопрос: готовы ли вы дежурить?
А когда будете выбирать вакансию — спросите у HR, есть ли дежурства — это поможет сделать лучший выбор.

Всем хороших выходных!
❤23👍15🔥6🤩2
Ребят, кто проходил стажировки любого рода в девопс, напишите в лс @CJIY4AUHbIU
Готовим материал и хотим подробнее изучить вопрос
👍12❤4😱2
— Расскажи про ПРОЦЕССЫ в Linux, что это и как устроены?

Продолжаем разбирать вопросы, которые звучат на девопсерских собесах.

🧠ПО-УМНОМУ:
Процесс — это экземпляр запущенной программы, который выполняется в памяти. Процесс состоит из: инструкций, данных, ресурсов и информации о состоянии выполнения.

⚙️Основные характеристики, которыми обладает процесс:
— PID — каждому процессу присваивается собственный номер, по которому его можно отслеживать и управлять им.
— PPID — родительский процесс. Все процессы (кроме первого - init/systemd) порождаются другими процессами.
— Открытые файловые дескрипторы (подробнее ниже)
— Переменные окружения — набор параметров, влияющих на работу процесса.
— Текущее состояние — процесс может быть активным, ожидать события или быть завершённым.

🤔Открытые файловые дескрипторы:
Когда процесс открывает файл, система выделяет ему файловый дескриптор — число, по которому процесс будет обращаться к этому файлу для чтения, записи и других операций.
У каждого процесса есть своя таблица этих дескрипторов. Те же потоки ввода-вывода тоже имеют свои дескрипторы:
— 0 — ввод (stdin)
— 1 — вывод (stdout)
— 2 — вывод ошибок (stderr)

🫥Какие бывают процессы (типы):
— Интерактивные — работают на переднем плане, взаимодействуют с юзером через терминал
— Демоны — фоновые процессы
— Родительские и дочерние — процессы могут порождать другие процессы

🍷Какие состояния есть у процессов:
— Выполнение (R) — процесс работает или готов к запуску
— Ожидание (D) — процесс ждёт события или ресурса
— Завершён — процесс закончил работу, ожидает удаления из памяти

👼🏻🙍🏻‍♂️👨🏻‍🦳💀Жизненный цикл процесса:
1. Создаётся с помощью системных вызовов, например, fork() или exec(). Про системные вызовы мы поговорим в отдельном посте.
2. Выполняет инструкции программы. Он может работать на переднем плане (интерактивный) или в фоне (демон).
3. Если процессу нужно дождаться события (например, ввода пользователя или данных с диска), он переходит в состояние ожидания.
4. После выполнения всех задач процесс завершается, освобождая ресурсы.

💃Как можем с ними взаимодействовать:
— ps — посмотреть процессы.
— kill, pkill, killall — отправить сигналы, например, о завершении
— nice, renice — изменить приоритет выполнения
— pgrep — поиск процессов по имени.

Процессы могут получать сигналы, например, о завершении работы или изменении состояния. Сигналы — основной способ взаимодействия процессов между собой. Про них тоже будет отдельный пост.

Каждый абзац отсюда потребуется на собесе.

Спасибо за внимание.
#собес
🔥50👍15❤4🤯3😱2
Сегодня вот такой вопрос:
— Как происходит запуск системы с момента нажатия кнопки питания?

Первым активируется BIOS (или UEFI).


BIOS выполняет POST (Power-On Self Test) — проверяет работоспособность компонентов: процессора, памяти и т.д.
⬇️
Дальше BIOS определяет загрузочные устройства.
⬇️
Потом BIOS ищет загрузочный код на загрузочном устройстве.
⬇️
В системах с BIOS это происходит через поиск MBR — Master Boot Record, а там, где UEFI процесс другой. UEFI загружает загрузчик со специального системного раздела EFI (ESP - EFI System Partition).
⬇️
Дальше загрузчик — GRUB (GRUB2)
Работа GRUB происходит в две стадии:
1. Загрузка первичного кода из MBR или с раздела EFI
2. Загрузка основного кода GRUB, он лежит в каталоге /boot.
⬇️
Загрузка ядра и initramfs
GRUB загружает ядро Linux и начальную файловую систему — initrd/initramfs в оперативку.
⬇️
Initramfs (initial RAM filesystem) — образ, который монтируется в процессе загрузки в ОЗУ. В нем лежат исполняемые файлы и драйверы, которые нужны для монтирования корневой файловой системы.
⬇️
Инициализация ядра Linux
После загрузки ядро Linux распаковывается в ОЗУ и начинает выполнение.
⬇️
На ранних этапах ядро вообще всякую жесть творит, типа настройки стека вызова функций на языке C, и об этом мы говорить не будем.
⬇️
Нам гораздо важнее вот это:
— Настройка cgroups
— Инициализация кэшей в VFS
— Настройка менеджера памяти
— Инициализация планировщика процессов
Это, понятное дело, не всё, там около 86 функций, но то, что выше — базовый минимум
⬇️
Потом инициализируются подсистемы ядра. На этом этапе происходит определение и установка всякого: шин, сетевых адаптеров, устройств хранения, дисплеев и т.д.
⬇️
И ядро распаковывает initramfs.
⬇️
Запуск пользовательского пространства

Монтирование корневой файловой системы
С помощью драйверов и инструментов initramfs, ядро монтирует корневую файловую систему. После монтирования initramfs размонтируется, соответственно память, которую он занимал, освобождается.
⬇️
Запуск первого процесса (PID 1)
В современных дистрибутивах Linux это systemd, хотя в некоторых остается init.
Процесс с идентификатором PID 1 становится родительским для всех других процессов в системе.
⬇️
Инициализация системы с помощью systemd
— systemd использует концепцию целевых состояний targets. Каждый target отвечает за то, чтобы дать какой-то функционал системе. Так же каждый таргет имеет набор зависимостей.
⬇️
В процессе загрузки есть две важнейшие контрольные точки:
— sysinit.target — базовая инициализация системы
— basic.target — базовая функциональность системы
⬇️
Их нельзя пропустить, пока не запустятся все необходимые службы и юниты, которые ими определены.
⬇️
А когда всё это выполнилось, systemd запускает все нужные службы:
— Сетевые службы
— Службы безопасности
— Графическую подсистему
— Различные демоны для обслуживания системы

После запуска необходимых служб — система готова, запуск завершен.

Всем удачного инита!
#собес
👍37❤12🔥12🤯2
Просто Devops
initrd/initramfs
Поздравляем всех с праздниками и продолжаем разбирать вопросы.

— Что такое initramfs и initrd?

✅ Это механизмы, которые решают проблему доступа к корневой файловой системе до её монтирования.
И то, и то — временные файловые системы в оперативной памяти, но у них разная структура.

🤖 Основные функции
— Инициализация аппаратных драйверов, необходимых для доступа к корневой ФС.
— Монтирование реальной корневой ФС (например, с LVM или RAID).
— Запуск пользовательских скриптов для настройки системы до передачи управления процессу init/systemd.

👥 Теперь отдельно по каждому:

Initrd (Initial RAM Disk)
Структура: RAM-диск, эмулирует физический диск. Обычно в ext2/3/4.
Особенности:
— Требует драйвер файловой системы в ядре.
— При создании нужно задавать объём памяти.
— Данные кэшируются ядром, что создаёт дублирование в памяти.
— Используется в ядрах до версии 2.6.


Initramfs (Initial RAM File System)
Структура: cpio-архив, распакуется в tmpfs (файловая система в памяти).
Особенности:
— Не требует драйверов ФС в ядре, так как tmpfs встроена.
— Динамический размер, то есть ровно столько памяти, сколько надо.
— Нет дублирования данных, так как архив распаковывается напрямую в память.
— Позволяет гибко настраивать процесс загрузки через скрипты и модули.
— Стандарт для ядер 2.6 и новее.


🥇 Почему initramfs стал стандартом?
1. Эффективность памяти, потому что нет фиксированного размера и дублирования данных.
2. Упрощённая архитектура, так как не требует эмуляции блочного устройства.
3. Гибкость, потому что позволяет выполнять сложные сценарии, например: ввод пароля для расшифровки диска, загрузка по сети.
4. Интеграция с systemd — современные initramfs используют systemd для параллельного запуска служб, что ускоряет загрузку.

Итог:
initrd и initramfs решают одну задачу — подготовить систему к монтированию корневой ФС.
initramfs в силу своих преимуществ вытеснил initrd из современных дистрибутивов.
🔥22👍9❤6
This media is not supported in your browser
VIEW IN TELEGRAM
Всем хорошей недели
😁32❤12🔥3😱2
Захотелось сегодня про докерфайл поговорить. Вроде штука простая, но и на собесах часто мелькает и в целом базовое знание, фундаментальное даже, можно сказать, в нашей сфере.

Зачем нужен dockerfile? Затем, чтобы создать какой-то образ для наших будущих контейнеров.
Фан-факт: 90% cloud-native приложений используют докерфайл для упаковки.

Docker использует слоеную архитектуру файловой системы. То есть каждое изменение, которое вносится в файловую систему, накладывается новым слоем, тем самым не затрагивая предыдущие изменения. По сути, можно сказать, что каждое изменение — модификация файловой системы.

Раньше (в старых версиях docker) каждая директива порождала новый слой. Сейчас таких только 4: FROM, COPY, ADD, RUN. Остальные директивы только добавляют метаданные к образу и существуют в отдельной структуре метаданных образа — image config.

Каждая инструкция в Dockerfile создает новый неизменяемый слой:
Базовый образ (FROM)
├── Слой 1 (RUN apt update)
├── Слой 2 (COPY code)
└── Слой 3 (CMD ["start.sh"])

Этот подход выбран не просто так. Слои кэшируются, при обновлениях обновляются только те слои, которые изменились и при такой архитектуре легко откатиться к предыдущим состояниям. В общем-то, как и у многих других девопсерских инструментов — внимание уделяется скорости и стабильности.

Каждая команда в докерфайле называется директивой, всего их 18 штук, полный список будет в первом комментарии, а в посте рассмотрим только основные.

FROM — задаёт базовый образ, на основе которого собираем:
   FROM имя_образа:тег

Кстати best-practice: использовать образы с конкретными тегами версий

RUN — выполняет команды в shell при сборке:
   RUN команда 1 && \
команда 2 && \
команда 3

Best-practice: объединять команды через && для минимизации слоёв

COPY/ADD — копирование файлов:
   COPY откуда куда

Различие: ADD поддерживает распаковку архивов и загрузку URL
Best-practice: не использовать ADD))

CMD и ENTRYPOINT: ENTRYPOINT задает точку входа, то есть команду, с которой будет запускаться контейнер. CMD задаёт параметры по умолчанию, с которыми будет запускаться контейнер.
   ENTRYPOINT ["nginx"]
CMD ["-g", "daemon off;"]

ENTRYPOINT неизменяемый, CMD переопределяется при запуске контейнера. Потом напишем более подробный пост про cmd и enrtypoint.

ARG/ENV — управление переменными:
   ARG APP_VERSION=1.0
ENV APP_ENV=production

ARG доступен только при сборке, в отличие от ENV.

USER, чтобы не запускаться под root:
   RUN groupadd -r appuser && useradd -r -g appuser appuser
USER appuser

Под рутом небезопасно, поэтому всегда надо давать ограниченные права.

HEALTHCHECK — мониторинг состояния:
   HEALTHCHECK --interval=30s --timeout=3s \
CMD curl -f http://localhost/health || exit 1


Существует иерархия расположения директив в докерфайле:
   # Редко меняющиеся операции
FROM node:20-alpine
WORKDIR /app
COPY package*.json ./
RUN npm ci --production

# Часто изменяемые части
COPY . .
CMD ["node", "server.js"]

То есть смысл в том, чтобы часто меняющиеся компоненты шли в конце, таким образом при повторной сборке будем сильно экономить ресурсы.

Ну и надо сказать про multi-stage.
Про неё будет отдельный пост.
Базово она использвует несколько этапов при сборке образа, чтобы в конечном образе были только необходимые артефакты. Благодаря этому разница итогового размера образа может отличаться в 10 раз у обычного подхода и мультистейджа.

Так же есть разные практики для качественных образов.

Для минимизации размера:
— Использовать .dockerignore
— Удалять временные файлы в том же слое
— Использовать multi-stage

Для безопасности:
— Не использовать root
— Регулярно обновлять базове образы
— Сканировать на уязвимости

Для поддержки на дистанции:
— Явно указать версии пакетов
— Логировать версии образа через LABEL

Так что с докерфайлами действуют классические принципы:
— Приоритет безопасности
— Оптимизация ресурсов
— Поддерживаемость

Это базис докерфайлов.

Кстати на неделе поделимся с вами очень классной историей подписчика, который на прошлой неделе уже вышел на работу в бигтех мидлом-девопсом.
👍53🔥11❤5