Как чистить место на диске?

Вроде и вопрос банальный и проблеме сто лет в обед, но в последнее время он возникает так часто, что я решил написать несколько строк по этому поводу. С технической стороной вопроса все вроде бы понятно. Мониторинг настроили, алерты приходят, rm -rf отрабатывает. Но как быть с организационной частью?

Если мы говорим про данные (пользовательские, логи, статистика и тд), то непременно встает вопрос о том как долго их хранить. Без ответа на этот вопрос невозможно настроить автоматическую очистку старых данных, невозможно рассчитать объем хранилища, которое потребуется, да вообще ничего сделать нельзя.

Когда в ответ на этот вопрос вам говорят что храните столько сколько влезет на диск, то это не ответ. Хотя выглядит похоже. По сути этим ответом, проблему с политикой хранения переложили на диск. А диск ни черта не знает про то, что это за данные, кто их использует и как их используют.

Простой пример. У вас есть статистика по продажам вашего продукта. И вот вы поставили задачу хранить столько, сколько влезет на диск. Отлично! В какой-то момент на этой же базе разрослась тестовая таблица. Действуя согласно плану по хранению статистики продаж вы взяли и дропнули все данные за последний год и оставили там последние пару дней. Под условие подходит? Да. Мы нарушили инструкцию? Нет. Все правильно сделали? Да. А бизнес только что продолбал все историю продаж благодаря условию "храним сколько влезет".

Если бы у вас была политика хранения и очистки статистики продаж, то вы бы не смогли взять и удалить эти данные. Вы бы пошли искать что еще занимает место на диске, попытались бы очистить что-то другое. И в конце пришли бы к бизнесу с вопросом - нам нужны деньги на диск. И смогли бы это обосновать за 10 секунд. Примерно так: "Согласно политике, эти данные надо хранить 5 лет. Диск у нас на 1Тб - он закончился. Так что либо докупаем диск, либо меняем политику хранения".

Поэтому ответ на вопрос "Сколько и какие данные хранить?" безумно важен. Вы должны четко понимать кто и как использует какие данные и в зависимости от этого выработать политику очистки, агрегации и архивации этих данных. Совместно с продуктом, конечно.

Если вам отвечают хранить столько сколько влезет, то это означает ровно одно: Тот кто отвечает абсолютно не понимает кто и как использует эти данные. И вы со спокойной душой можете взять и дропнуть все нафиг, оставив данные за последний день. Чтобы такого не случилось - сходите и выясните политику очистки ваших данных.

https://www.linux.org.ru/forum/talks/14739618

вот это номер 😒

..Modlishka..
Modlishka is a flexible and powerful reverse proxy, that will take your phishing campaigns to the next level (with minimal effort required from your side).

И подборка интересных утилит, которые попались на глаза недавно.

* ctop — top для контейнеров http://amp.gs/Vhpp
* bashful — красивая замена баша на стероидах http://amp.gs/Vhpv
* scenery — удобная штука, чтобы сделать лог терраформа более читаемым http://amp.gs/VhpV
* git-chglog — генератор ченжлога из истории коммитов http://amp.gs/Vhpf
* bob (Bob Build Tool) — кроссплатформенное решение автоматизации билдов http://amp.gs/Vhp4
* act — утилита для локальной отладки GitHub Actions http://amp.gs/VhpO
* chezmoi — интересная утилита для безопасной организации работы с dot файлами http://amp.gs/VhpU

* krew — менеджер плагинов для kubectl http://amp.gs/VhpG
* helm-diff — плагин для helm, который покажет что изменится при выполнении helm upgrade. http://amp.gs/Vhpk
* kubectl-debug — решение для дебага подов, запускает новый контейнер с кучей установленных тулов http://amp.gs/Vhpy
* netshoot — контейнер с разными утилитами для отладки сети в Docker + Kubernetes http://amp.gs/Vhpg

#digest #tools

Попытался немного консолидировать список полезных материалов для подготовки к интервью на позицию SRE. Список сделал на основе своего небольшого опыта прохождения интервью на такую позицию в разные компании (GitLab, Google, Revolut, etc).

Очень приветствуется обратная связь. Пишите в личку свои замечания и предложения - @mxssl, ставьте звездочки на гитхабе если список показался вам полезным.

https://github.com/mxssl/sre-interview-prep-guide

Интересная статья о том, как тяжело дебажить и приводить в чуства большие распределенные системы. Вывод, к которому приходит автор статьи - лучше больше меньших кластеров, чем один большой.
https://medium.com/@daniel.p.woods/on-infrastructure-at-scale-a-cascading-failure-of-distributed-systems-7cff2a3cd2df

Выявлены следы взлома PHP-репозитория PEAR и модификации пакетного менеджера
http://www.opennet.ru/opennews/art.shtml?num=49998
Сообщается об обнаружении следов взлома официального репозитория пакетов PEAR (PHP Extension and Application Repository), предлагающего дополнительные функции и классы для языка PHP. В ходе атаки злоумышленникам удалось получить доступ к web-серверу проекта и внести изменения в файл "go-pear.phar", в котором содержится установочный комплект с пакетным менеджером "go-pear". Модификация была осуществлена 6 месяцев назад. #opennet

awesome для sre http://github.com/dastergon/awesome-sre/blob/master/README.md #sre #awesome

Добро пожаловать.
Атор канала Пятничный деплой точно оценит😅

GitHub Learning Lab запустили обучающие курсы по использованию CircleCI и Travis CI для continuous integration
http://amp.gs/Vg1r

И у HashiCorp не так давно обновился раздел обучения и там теперь есть разделы про Vault, Consul, Terraform и Nomad
http://amp.gs/VgY8
#github #courses

Akira: The Linux Design Tool We’ve Always Wanted?
✏️ —> https://kutt.it/GxVsGS

Давеча репостил сайт с курсами и таки нашел интересное для себя. Например вот Python Practice
Конечно скорость изложеняи подобрана для всех, но 1,6х впринципе норм.

Сам сайт вот - https://coursehunters.net

PS: Учится никогда не поздно!🧐

Однако занятно

Крупнейшие DNS-сервисы и серверы прекратят поддержку проблемных реализаций DNS
http://www.opennet.ru/opennews/art.shtml?num=49999
1 февраля ряд DNS-сервисов и производителей DNS-серверов решили провести день корректной обработки запросов EDNS (DNS flag day). В этот же день организация ISC планирует выпустить новый значительный релиз DNS-сервера BIND 9.14, в который будут внесены изменения, нарушающие совместимость резолвера с некоторыми DNS-серверами, на которых используется старое ПО с некорректно реализованной обработкой запросов с расширенными флагами EDNS. #opennet

Таки да
https://habr.com/ru/post/436896/