Опять

Жена у меня готовит мама дорогая конечно

Очень вкусно

Кароче полдня чинил самоликвиднувшийся почтарь, по итогам чинилова(отката к старому бекапу), получилось вот такое количество ошибок

Забавное: не мог понять, почему при настройке алертов в Графане она переодически вываливалась в firing, хотя до порогового значения далеко. Получилось два вот таких варианта:

- В первом случае, если, условно, через Threshold, мы выставляем значение, которое в логике метрики выше предельного, мы получим переодический firing. Допустим, E is Above 10, хотя метрика у вас дает значение от 0 до 1.

- Второй вариант чуть сложнее, допустим вы собираете метрику CPU busy, и она отдает значение 0,438% загруженности. Правило пусть будет A is above 1, то переодически firing будет вылетать потому что Графана округляет 0,438 до 0 и error handler может считать это за no data и отправить репорт. Тут можно пояснить ей, выставив, что значение > 0,001, тогда метрика перейдет в состояние normal


Вот такая штука, скорее всего об этом все знают, но пусть тот тоже будет

Продался ли я за вискарь?

Конечно да, о чем речь

Итак, у нас есть два независимых скрипта: один создаёт лог данных api раз в Н времени, второй и есть код этого API, первое уже написал, второе трогать не хочу, вопрос как дружить эти два скрипта, чтобы когда сторонний сервис обращается к АПИ и логгеру нужно сохранить слепок данных для потомков???

Первый рабочий день буквально ощущается как эта картинка

Вот это я понимаю, действительно отчаянный поиск рабочего конфига впн в инете

Ну вот и кончаются мои рабочие будни старшим сисадмином, посмотрим, как будем барахтаться дальше)

Приводим инфраструктуры из состояния работоспособных руин в приятный отказоустойчивый цех, день первый:

Так как в базе я уже развернул централизованную графану и имею ряд кастомных экспортеров на 1/20 машин, то начну постепенно:

- Восстановим полную систему мониторинга инфраструктуры и углубим алертинг
- Увеличим сеть экспортеров.
- Начнем подготовку к переходу всей инфраструктуры к IaaC решениям от HashiCorp: Vault, Terraform, Nomad, Consul.
- Обеспечим мониторинг, причем не только на предмет жизнедеятельности, но и системных событий.

Ну а для начала централизованного управления хостами и ВМками, восстановим общее управление системами через VCenter. По его API к нему коннектится Terraform - в нем вы можете описать, как должна работать ВМ и/или сервис. Терраформ дальше сам развернет и будет поддерживать ВМ в заданном состоянии.

Мужики, я познал дзен полной автоматизации реагирования на проблемы в инфре, через локальные модели

Забавно, презентовал начальству, сказали перевести разработку в закрытый режим и избегать утечек. Это он типо важный стал?

Так как влесс у нас дружно дохнет под нагрузкой поумневшей ТСПУ, переехал на Hysteria. Спустя миллион итераций починки конфига и поднятия сокс5 тоннеля смог даже завернуть гугловый траффик Ютуб и ру сервисов через российскую впс, так как для меня дичайший гемор нажать три кнопки и выключить впн при входе в госуслуги