grafana-loki-postfix.zip
3 KB
Файлы к предыдущей заметке по настройке сбора логов Postfix в Loki с помощью Alloy. Здесь представлен дашборд для Grafana и настройки Alloy в качестве сборщика текстового лога на почтовом сервере.
👍40👎1
Сколько лет использую Proxmox VE и только недавно столкнулся с тем, что у него виртуалку может прибить OOM Killer, если на хосте мало памяти. При этом в момент запуска очередной виртуалки, для которой не хватает памяти, не будет никаких предупреждений на этот счёт. Она молча запустится, а через несколько секунд будет случайным образом прибита одна из запущенных ранее.
Я уже подзабыл, как в других гипервизорах обрабатывается подобная ситуация. Hyper-V вроде бы не даёт запустить виртуальную машину, если для её работы нет свободной памяти. Я всегда всё везде с запасом распределяю, поэтому практически не сталкиваюсь с такими ситуациями.
А тут прошляпил. Добавил виртуалку, запустил, настраиваю. Через некоторое время вижу от мониторинга сообщение, что один сервис лёг, его виртуалка недоступна. Вначале даже не понял, в чём дело. Запустил её снова, зашёл, всё проверил. В логах чисто, как-будто её аварийно вырубили, что на самом деле и произошло.
Пошёл проверять гипервизор и там в логах увидел, что виртуалку аварийно прибил OOM Killer почти сразу после запуска новой, для которой не было свободной памяти.
Странно, что в самой платформе управления виртуальными машинами нет никаких проверок на этот счёт. Можно было бы предупредить либо во время создания, либо при запуске, что на гипервизоре не хватает памяти для нормальной работы всех запущенных виртуальных машин. Для общего хранилища такое предупреждение выводится, когда суммарно забронированное место для всех дисков превышает реальный объём хранилища. А для оперативной памяти предупреждений нет.
Будьте аккуратны при распределении памяти между виртуальными машинами в PVE. Я теперь внимательнее буду это делать и проверять всё вручную. Аварийно прибить виртуальную машину - сильный ход. Понятно, что это встроенный механизм в Linux, но я думал под систему виртуализации его как-то изменили и доработали, чтобы такого не было. Как оказалось - нет. Ни предупреждения, ни завершения работы, ни заморозки. Просто сразу kill.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX
#proxmox
Я уже подзабыл, как в других гипервизорах обрабатывается подобная ситуация. Hyper-V вроде бы не даёт запустить виртуальную машину, если для её работы нет свободной памяти. Я всегда всё везде с запасом распределяю, поэтому практически не сталкиваюсь с такими ситуациями.
А тут прошляпил. Добавил виртуалку, запустил, настраиваю. Через некоторое время вижу от мониторинга сообщение, что один сервис лёг, его виртуалка недоступна. Вначале даже не понял, в чём дело. Запустил её снова, зашёл, всё проверил. В логах чисто, как-будто её аварийно вырубили, что на самом деле и произошло.
Пошёл проверять гипервизор и там в логах увидел, что виртуалку аварийно прибил OOM Killer почти сразу после запуска новой, для которой не было свободной памяти.
Странно, что в самой платформе управления виртуальными машинами нет никаких проверок на этот счёт. Можно было бы предупредить либо во время создания, либо при запуске, что на гипервизоре не хватает памяти для нормальной работы всех запущенных виртуальных машин. Для общего хранилища такое предупреждение выводится, когда суммарно забронированное место для всех дисков превышает реальный объём хранилища. А для оперативной памяти предупреждений нет.
Будьте аккуратны при распределении памяти между виртуальными машинами в PVE. Я теперь внимательнее буду это делать и проверять всё вручную. Аварийно прибить виртуальную машину - сильный ход. Понятно, что это встроенный механизм в Linux, но я думал под систему виртуализации его как-то изменили и доработали, чтобы такого не было. Как оказалось - нет. Ни предупреждения, ни завершения работы, ни заморозки. Просто сразу kill.
———
ServerAdmin:
#proxmox
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍149👎2
Пришло время обновить подборку хостингов, которые использую сам. То есть это не рекламная публикация, которую у меня кто-то заказал. Это моя инициатива и тут представлены хостеры, у которых в настоящее время у меня есть какие-то сервисы. Все ссылки реферальные.
📌 Selectel – много и давно взаимодействую с этим хостером. Использовал у него разные услуги, но основное – аренда дедиков и S3 хранилище, плюс бесплатная – DNS хостинг. Сейчас ещё и домены сюда переношу по мере окончания делегирования у других регистраторов.
Недавно у хостера появилась пока ещё уникальная (не видел у других) возможность использовать Terraform для настройки дедиков. Я писал об этом статью с примерами. Для серверов есть аукцион, где можно взять сервер дешевле основного ценника на 10-20%.
По надёжности и поддержке особых претензий нет. Обычно всё чётко, поддержка адекватно воспринимает текст, отвечает нешаблонно. Можно о чём-то договориться, попросить скидки, помочь в каком-то вопросе. Были всякие нюансы и косяки. Писал об этом в том числе и тут. Например, не так давно моему клиенту по ошибке удалили учётную запись, потом восстановили. Перед новым годом я не смог себе дедик на год оплатить, ушёл с нерешённой проблемой в праздники. Но после них всё нормально разрулили в мою пользую.
У Selectel есть акция. Через меня для новых клиентов можно получить 4000 бонусов. Для этого нужно зарегистрироваться по моей ссылке, прислать мне свой ID из личного кабинета и я смогу заказать для него промокод. На момент написания заметки я ни разу такие промокоды не получал, поэтому не знаю, как на практике это работает. Надеюсь, что нормально. Кто хочет, может попробовать.
📌 IHC – на VPS этого хостера уже давно живёт мой сайт. Не могу сказать чего-то особенного про него, кроме того, что они давно на рынке и в каких-то серьёзных инцидентах замечены не были. Проблем у меня с ними не возникало. Переехал, с тех пор просто всё работает. Даже в техподдержку ни разу не писал. Набор услуг типовой, как и цены. Есть VPS в Нидерландах и Гонконге. Так что если вам просто нужна VPS или виртуальный хостинг под типовые задачи, пользуйтесь.
📌 Serverspace – использовал раньше под VPS в США. Сейчас необходимости в них нет, осталась ровно одна под заблокированные для нас ресурсы. Хостер интересный со своими разработками (vStack). Когда кому-то советую, часто слышу отзывы, что дорого и скорость 50 мегабит по умолчанию. Поясняю. Это не low coster. Там мощное серверное железо (например, Xeon Gold, серверные диски и т.д.), гарантированный канал, API, свой CLI, Terraform-провайдер, виртуальные сети для VPS и т.д.
📌 RUVDS – обычный хостер. Они одно время активно развивались и пиарились. Последнее время особо не вижу новостей и нововведений. У меня уже много лет работает виртуалка за 40 р., полученная по одной из акций. Из услуг использую только VDS с большим диском. Удобно для бэкапов и мониторинга. Арендуется обычная виртуалка, например 2 CPU, 4 RAM, 20 Гб системный диск и 1 TB дополнительный диск. На неё ставится внешний мониторинг и копируются бэкапы. Когда такую услугу добавили, у других не видел. Сейчас такие виртуалки много где можно заказать. Из плюсов – много разных локаций внутри страны и за рубежом.
📌 Simplecloud – здесь арендую виртуалки с почасовой оплатой для тестов. Можно взять сразу что-то мощное (создаётся виртуалка за 2-3 минуты), сделать всё, что нужно, а потом удалить. Виртуалка поднимается сразу на рабочем поддомене и можно тут же сертификат Let's Encrypt заказать, что очень удобно.
📌 Ihor – в прошлом он был популярен за счёт низких цен и активного маркетинга, но всё растерял после борьбы за него между собственниками. ЦОД был в дауне около недели и все разбежались, в том числе и я. У меня там были и виртуалки, и дедики. Осталась парочка VPS. С тех пор, как всё утряслось, не было вообще никаких проблем. Работает стабильно, цены по прежнему очень низкие. У этого хостера интересно трафик зарубеж ходит 😉, что в настоящее время полезно.
#хостинг #подборка
📌 Selectel – много и давно взаимодействую с этим хостером. Использовал у него разные услуги, но основное – аренда дедиков и S3 хранилище, плюс бесплатная – DNS хостинг. Сейчас ещё и домены сюда переношу по мере окончания делегирования у других регистраторов.
Недавно у хостера появилась пока ещё уникальная (не видел у других) возможность использовать Terraform для настройки дедиков. Я писал об этом статью с примерами. Для серверов есть аукцион, где можно взять сервер дешевле основного ценника на 10-20%.
По надёжности и поддержке особых претензий нет. Обычно всё чётко, поддержка адекватно воспринимает текст, отвечает нешаблонно. Можно о чём-то договориться, попросить скидки, помочь в каком-то вопросе. Были всякие нюансы и косяки. Писал об этом в том числе и тут. Например, не так давно моему клиенту по ошибке удалили учётную запись, потом восстановили. Перед новым годом я не смог себе дедик на год оплатить, ушёл с нерешённой проблемой в праздники. Но после них всё нормально разрулили в мою пользую.
У Selectel есть акция. Через меня для новых клиентов можно получить 4000 бонусов. Для этого нужно зарегистрироваться по моей ссылке, прислать мне свой ID из личного кабинета и я смогу заказать для него промокод. На момент написания заметки я ни разу такие промокоды не получал, поэтому не знаю, как на практике это работает. Надеюсь, что нормально. Кто хочет, может попробовать.
📌 IHC – на VPS этого хостера уже давно живёт мой сайт. Не могу сказать чего-то особенного про него, кроме того, что они давно на рынке и в каких-то серьёзных инцидентах замечены не были. Проблем у меня с ними не возникало. Переехал, с тех пор просто всё работает. Даже в техподдержку ни разу не писал. Набор услуг типовой, как и цены. Есть VPS в Нидерландах и Гонконге. Так что если вам просто нужна VPS или виртуальный хостинг под типовые задачи, пользуйтесь.
📌 Serverspace – использовал раньше под VPS в США. Сейчас необходимости в них нет, осталась ровно одна под заблокированные для нас ресурсы. Хостер интересный со своими разработками (vStack). Когда кому-то советую, часто слышу отзывы, что дорого и скорость 50 мегабит по умолчанию. Поясняю. Это не low coster. Там мощное серверное железо (например, Xeon Gold, серверные диски и т.д.), гарантированный канал, API, свой CLI, Terraform-провайдер, виртуальные сети для VPS и т.д.
📌 RUVDS – обычный хостер. Они одно время активно развивались и пиарились. Последнее время особо не вижу новостей и нововведений. У меня уже много лет работает виртуалка за 40 р., полученная по одной из акций. Из услуг использую только VDS с большим диском. Удобно для бэкапов и мониторинга. Арендуется обычная виртуалка, например 2 CPU, 4 RAM, 20 Гб системный диск и 1 TB дополнительный диск. На неё ставится внешний мониторинг и копируются бэкапы. Когда такую услугу добавили, у других не видел. Сейчас такие виртуалки много где можно заказать. Из плюсов – много разных локаций внутри страны и за рубежом.
📌 Simplecloud – здесь арендую виртуалки с почасовой оплатой для тестов. Можно взять сразу что-то мощное (создаётся виртуалка за 2-3 минуты), сделать всё, что нужно, а потом удалить. Виртуалка поднимается сразу на рабочем поддомене и можно тут же сертификат Let's Encrypt заказать, что очень удобно.
📌 Ihor – в прошлом он был популярен за счёт низких цен и активного маркетинга, но всё растерял после борьбы за него между собственниками. ЦОД был в дауне около недели и все разбежались, в том числе и я. У меня там были и виртуалки, и дедики. Осталась парочка VPS. С тех пор, как всё утряслось, не было вообще никаких проблем. Работает стабильно, цены по прежнему очень низкие. У этого хостера интересно трафик зарубеж ходит 😉, что в настоящее время полезно.
#хостинг #подборка
1👍82👎9
У меня было очень много заметок про менеджеры подключений. В первую очередь потому, что эта тема актуальна для меня. Я постоянно ищу что-то более удобное и подходящее. И эта публикация не исключение. Я недавно сделал масштабный переезд всех своих настроек в Remote Desktop Manager.
Я ранее не раз упоминал про него. Это такой тяжеловесный комбайн всё в одном. Мне он изначально не очень понравился, потому что там слишком много всего, что мне не нужно, плюс, он очень тормозной. Но, пройдя по кругу по всем подобным программам, не нашёл ничего лучше.
В последний год я больше всего пользовался Xshell и MobaXterm. Я не буду подробно про них рассказывать, можно почитать прошлые заметки. Скажу, чем они мне не подошли.
Вообще говоря, Xshell меня по функциональность полностью устраивает. Я очень долго её использую, начиная с 5-й версии. Но в последнем релизе в неё поселили мерзопакостную вещь. В какой-то момент она перестаёт запускаться и требует обновиться. Пока не обновишь, работать не будет. По мне так это бомба замедленного действия. Рано или поздно что-то случится, например, её опять решат сделать платной, и на этом всё закончится.
MobaXterm на первый взгляд тоже всем хороша. Я стал на неё переползать, когда понял, что с Xshell каши больше не сварить, надо искать замену. Но в ней меня донимает один баг с RDP. Иногда после сворачивания и разворачивания программы с открытыми RDP соединениями, в них меняется на мгновение размер экрана, а потом возвращается к первоначальному размеру. Но за это время на удалённом столе успевают разъехаться ярлыки и уменьшиться в размере все открытые окна. Потом их надо опять разворачивать. Вроде мелочь, но раздражает, когда ни с того ни с сего опять это произойдёт. Ну и по мелочи есть некоторые замечания.
В итоге я уже пару недель постоянно использую Remote Desktop Manager. Перенёс туда большую часть соединений. Из MobaXterm и mRemoteNG есть автоматический импорт. Он нормально отработал, почти без ручных правок всё перенёс. Для Xshell, к сожалению, импорта нет, приходится всё руками оттуда переносить.
➖ Основной минус RDM я назвал - сама программа тормозная и не очень отзывчивый интерфейс. Но в целом привыкаешь. И если никаких других проблем не будет, то можно смириться.
Перечислю теперь плюсы:
🟢 В RDM можно перенести вообще все соединения - RDP, SSH, VNC и прочие стандартные вещи. Помимо этого туда можно добавить подключения к Mikrotik через Winbox, веб интерфейс Proxmox. Причём RDM умеет сам находить формы для ввода логина с паролем, плюс, игнорировать предупреждение о сертификатах. Получаем полностью автоматический вход в веб интерфейс Proxmox. Это очень удобно. У меня для Прокмоксов отдельный браузер есть, куда я импортирую все сертификаты и сохраняю учётные данные, чтобы не вводить их каждый раз. Чисто технический браузер, форк Firefox (WaterFox). Теперь он больше не нужен.
🟢 Есть портированная версия, базу с подключениями можно разместить на облачном диске.
🟢 Есть шифрование подключений с помощью мастер пароля, который нужно вводить при запуске.
🟢 Гибкие настройки структуры и самих соединений. Такое ощущение, что в программе есть всё, что только можно придумать по этой теме. Я настроил всё, что мне нужно было.
Так что теперь я в основном использую Remote Desktop Manager. Настроил там все шрифты, цвета и т.д. как обычно делаю. Выглядит симпатично и удобно. Попробуйте, если выбираете себе менеджер соединений. Не факт, что тут тоже не всплывут какие-то баги. Но пока не сталкивался.
Лучшие на мой взгляд аналоги я уже перечислил:
🔹Xshell
🔹MobaXterm
🔹mRemoteNG
Всё остальное понравилось меньше:
▪️Remmina (Linux)
▪️Ásbrú Connection Manager (Linux)
▪️Royal TS/X
▪️WindTerm
▪️Tabby
▪️XPipe
▪️Snowflake
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX
#менеджеры_подключений
Я ранее не раз упоминал про него. Это такой тяжеловесный комбайн всё в одном. Мне он изначально не очень понравился, потому что там слишком много всего, что мне не нужно, плюс, он очень тормозной. Но, пройдя по кругу по всем подобным программам, не нашёл ничего лучше.
В последний год я больше всего пользовался Xshell и MobaXterm. Я не буду подробно про них рассказывать, можно почитать прошлые заметки. Скажу, чем они мне не подошли.
Вообще говоря, Xshell меня по функциональность полностью устраивает. Я очень долго её использую, начиная с 5-й версии. Но в последнем релизе в неё поселили мерзопакостную вещь. В какой-то момент она перестаёт запускаться и требует обновиться. Пока не обновишь, работать не будет. По мне так это бомба замедленного действия. Рано или поздно что-то случится, например, её опять решат сделать платной, и на этом всё закончится.
MobaXterm на первый взгляд тоже всем хороша. Я стал на неё переползать, когда понял, что с Xshell каши больше не сварить, надо искать замену. Но в ней меня донимает один баг с RDP. Иногда после сворачивания и разворачивания программы с открытыми RDP соединениями, в них меняется на мгновение размер экрана, а потом возвращается к первоначальному размеру. Но за это время на удалённом столе успевают разъехаться ярлыки и уменьшиться в размере все открытые окна. Потом их надо опять разворачивать. Вроде мелочь, но раздражает, когда ни с того ни с сего опять это произойдёт. Ну и по мелочи есть некоторые замечания.
В итоге я уже пару недель постоянно использую Remote Desktop Manager. Перенёс туда большую часть соединений. Из MobaXterm и mRemoteNG есть автоматический импорт. Он нормально отработал, почти без ручных правок всё перенёс. Для Xshell, к сожалению, импорта нет, приходится всё руками оттуда переносить.
Перечислю теперь плюсы:
🟢 В RDM можно перенести вообще все соединения - RDP, SSH, VNC и прочие стандартные вещи. Помимо этого туда можно добавить подключения к Mikrotik через Winbox, веб интерфейс Proxmox. Причём RDM умеет сам находить формы для ввода логина с паролем, плюс, игнорировать предупреждение о сертификатах. Получаем полностью автоматический вход в веб интерфейс Proxmox. Это очень удобно. У меня для Прокмоксов отдельный браузер есть, куда я импортирую все сертификаты и сохраняю учётные данные, чтобы не вводить их каждый раз. Чисто технический браузер, форк Firefox (WaterFox). Теперь он больше не нужен.
🟢 Есть портированная версия, базу с подключениями можно разместить на облачном диске.
🟢 Есть шифрование подключений с помощью мастер пароля, который нужно вводить при запуске.
🟢 Гибкие настройки структуры и самих соединений. Такое ощущение, что в программе есть всё, что только можно придумать по этой теме. Я настроил всё, что мне нужно было.
Так что теперь я в основном использую Remote Desktop Manager. Настроил там все шрифты, цвета и т.д. как обычно делаю. Выглядит симпатично и удобно. Попробуйте, если выбираете себе менеджер соединений. Не факт, что тут тоже не всплывут какие-то баги. Но пока не сталкивался.
Лучшие на мой взгляд аналоги я уже перечислил:
🔹Xshell
🔹MobaXterm
🔹mRemoteNG
Всё остальное понравилось меньше:
▪️Remmina (Linux)
▪️Ásbrú Connection Manager (Linux)
▪️Royal TS/X
▪️WindTerm
▪️Tabby
▪️XPipe
▪️Snowflake
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#менеджеры_подключений
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍173👎1
Недавно посмотрел ролик на ютубе (автор) на мемную тему из прошлого по поводу установки Windows девушке. Сейчас это всё как-будто уже неактуально стало. Вспомнил картинку на эту тему и решил оформить в публикацию. Юмор специфичный, но лично мне понравилось. Атмосферно снята ситуация наоборот, когда девушка переустанавливает винду.
Я вроде никому винду не переустанавливал никогда, ни девушкам, ни жене. А у вас как с этим? Бывало?
#юмор
Я вроде никому винду не переустанавливал никогда, ни девушкам, ни жене. А у вас как с этим? Бывало?
#юмор
👍123👎9
Расскажу про одну тему, которая не относится к IT, но напрямую влияет на мою продуктивность. Может быть и вам она поможет. Лет 8 назад купил первый раз наушники с шумоподавлением. Причём специально их не подбирал с этой возможностью. Случайно получилось, что она там была. Я попробовал и мне понравилось.
К слову, я давно за собой заметил, что лучше соображаю и в целом делаю осмысленные дела в тишине. Из-за этого я постоянно страдал в офисе и не понимал, как там можно нормально работать. Постоянно что-то отвлекает. Когда стал работать на себя, первое, к чему стремился - найти тихое место для работы. Всегда носил с собой беруши. Именно их и заменили наушники с шумоподавлением.
Не так давно купил себе новые наушники, и накладные, и затычки. Наушники, как наушники, ничего особенного. Отмечу только, что раньше постоянно с накладными не работал. Когда купил новые, немного расстроился, потому что голова и уши в них уставали. Думал, что зря потратил деньги, всё равно неудобно. На деле оказалось, что я просто не привык к такому формату. Сейчас, спустя примерно пару месяцев, ежедневно почти весь рабочий день сижу в них и особо не устаю, привык.
Шумоподавление - это раз в повышении продуктивности. А второй момент стал использовать где-то может год назад. Я ставлю не какую-то спокойную монотонную музыку, как раньше, а белый шум. Причём не в чистом виде, а немного разбавленный.
В какой-то момент через поиск попал на сайт myNoise. Тут собрано много тематического шума. Мне лично зашёл Irish Coast. Ставлю исключительно его, так как мне подходит, другое особо не смотрел. В итоге каждое утро я сажусь на рабочее место (оно у меня теперь необычное, попозже как-нибудь покажу, расскажу), надеваю наушники, включаю шумодав. Если пробиваются какие-то посторонние шумы, включаю белый шум.
В таком формате у меня максимальная продуктивность. Я концентрируюсь на задаче, ни на что не отвлекаюсь. Совершенно не понимаю людей, которые в фоне умудряются какие-то сериалы смотреть, стримы или музыку слушать. У меня это напрочь убивает продуктивность. Не могу сосредоточиться и решить интеллектуальную задачу, где надо подумать, а не что-то монотонное сделать.
Не знаю, в чём тут дело - особенность психики или возраст сказывается. Чем моложе, тем проще собраться, сфокусироваться и погрузиться в контекст, отработать прерывание. А чем старше становишься, тем дольше погружаешься в тему и сильнее из неё выпадаешь, когда отвлекают. Но, как я уже сказал, от лишнего шума я страдал и ранее. Всегда это мешало, и на втором мониторе у меня никогда во время работы не было ничего отвлекающего.
Ещё замечал, что во время путешествий, когда в незнакомый город приезжаешь на машине, приглушаешь музыку, чтобы не мешала ориентироваться. На автомате это делал. Так что внешний шумовой фон отвлекает. А у вас как? Замечаете такое или спокойно работаете, погрузившись в дела, вне зависимости от шума? Я в офисах видел таких людей. Включат сериал на втором мониторе и дела делают.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX
#продуктивность
К слову, я давно за собой заметил, что лучше соображаю и в целом делаю осмысленные дела в тишине. Из-за этого я постоянно страдал в офисе и не понимал, как там можно нормально работать. Постоянно что-то отвлекает. Когда стал работать на себя, первое, к чему стремился - найти тихое место для работы. Всегда носил с собой беруши. Именно их и заменили наушники с шумоподавлением.
Не так давно купил себе новые наушники, и накладные, и затычки. Наушники, как наушники, ничего особенного. Отмечу только, что раньше постоянно с накладными не работал. Когда купил новые, немного расстроился, потому что голова и уши в них уставали. Думал, что зря потратил деньги, всё равно неудобно. На деле оказалось, что я просто не привык к такому формату. Сейчас, спустя примерно пару месяцев, ежедневно почти весь рабочий день сижу в них и особо не устаю, привык.
Шумоподавление - это раз в повышении продуктивности. А второй момент стал использовать где-то может год назад. Я ставлю не какую-то спокойную монотонную музыку, как раньше, а белый шум. Причём не в чистом виде, а немного разбавленный.
В какой-то момент через поиск попал на сайт myNoise. Тут собрано много тематического шума. Мне лично зашёл Irish Coast. Ставлю исключительно его, так как мне подходит, другое особо не смотрел. В итоге каждое утро я сажусь на рабочее место (оно у меня теперь необычное, попозже как-нибудь покажу, расскажу), надеваю наушники, включаю шумодав. Если пробиваются какие-то посторонние шумы, включаю белый шум.
В таком формате у меня максимальная продуктивность. Я концентрируюсь на задаче, ни на что не отвлекаюсь. Совершенно не понимаю людей, которые в фоне умудряются какие-то сериалы смотреть, стримы или музыку слушать. У меня это напрочь убивает продуктивность. Не могу сосредоточиться и решить интеллектуальную задачу, где надо подумать, а не что-то монотонное сделать.
Не знаю, в чём тут дело - особенность психики или возраст сказывается. Чем моложе, тем проще собраться, сфокусироваться и погрузиться в контекст, отработать прерывание. А чем старше становишься, тем дольше погружаешься в тему и сильнее из неё выпадаешь, когда отвлекают. Но, как я уже сказал, от лишнего шума я страдал и ранее. Всегда это мешало, и на втором мониторе у меня никогда во время работы не было ничего отвлекающего.
Ещё замечал, что во время путешествий, когда в незнакомый город приезжаешь на машине, приглушаешь музыку, чтобы не мешала ориентироваться. На автомате это делал. Так что внешний шумовой фон отвлекает. А у вас как? Замечаете такое или спокойно работаете, погрузившись в дела, вне зависимости от шума? Я в офисах видел таких людей. Включат сериал на втором мониторе и дела делают.
———
ServerAdmin:
#продуктивность
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍158👎2
Прорабатываю тему централизованного хранения логов в Loki. Потом для удобства объединю её в большую статью. Уже наметил план. Решил, чтобы вечно не откладывать, резать слона по частям, а не пытаться сразу всё сделать.
На текущий момент я разобрал следующие темы:
1️⃣ Установка, настройка Loki, сбор логов Docker контейнеров
2️⃣ Сбор системных логов Linux (syslog и journald) с помощью Alloy
3️⃣ Сбор логов Postfix и пример создания дашборда для них
Сегодня разберу вопрос отправки журналов с логами Windows. Как бы не пытались аврально импортозаместиться, всё равно инфраструктура на Windows - значительная часть. А может и бóльшая, смотря как считать.
На удивление, настройка Alloy оказалась довольно замороченной, несмотря на то, что есть документация. ИИ по какой-то причине предлагает постоянно неработающие конфигурации. Я что с Linux, что с Windows в итоге разбирался сам.
Основная проблем с метками, привязанными к имени сервера и с их синтаксисом в конфигурации в целом. С непривычки приходится много времени тратить, чтобы разобраться. Вообще, это самая важная часть настройки сбора логов в Loki, так как тут выборка в основном по ним идёт. Надо сразу аккуратно продумать всю схему, чтобы потом не путаться.
Установка Alloy в Windows максимально простая - скачиваем установщик из репозитория и запускаем. Нужен будет файл alloy-installer-windows-amd64.exe.
Alloy устанавливается как служба с автозапуском. После установки нужно отредактировать конфигурацию. К сожалению, если я правильно понял, для логов Windows не работает автообнаружение всех системных журналов, в том числе служб и сервисов с автоматическим назначением меток к ним. Их нужно явно указывать в конфигурации.
Покажу пример с тремя стандартными журналами: System, Application и Security. Положил работающий и отлаженный файл конфигурации в репозиторий. На винде отлаживать неудобно, так как если в конфигурации была ошибка, служба тупо не запускалась с неинформативной ошибкой. Приходилось вручную всё проверять и пробовать разные варианты.
В итоге получил то, что хотел. Для логов назначил две метки:
◽️
◽️
С этими метками можно просто открыть все логи сервера по имени и в нём по меткам открыть нужные потоки. Но если будет необходимость сразу из общего списка взять отдельный job конкретного сервера, это тоже можно сделать, так как в названии job будет имя сервера.
Редактируем конфигурацию, перезапускаем службу Alloy и идём в Grafana смотреть логи. Никаких дополнительных настроек делать не надо. Loki сам парсит виндовые логи и выделяет в них стандартные поля: event_id, channel, level, security_userId, timeCreated и т.д. По ним сразу можно делать выборку.
Несмотря на некоторые трудности и неудобства стека на базе Loki и Alloy, пользоваться им приятно в том плане, что базовые настройки относительно просты и функциональны. Можно особо не заморачиваясь просто отправлять логи в Loki и с ними тут будет удобно работать. Он сам распарсит стандартные типы, что позволит сразу выборки делать и рисовать дашборды. Когда изучал ELK с парсингом больше ковырялся. Тут он как-то проще работает.
Далее планирую разобрать сбор логов веб сервера и создание дашбордов для них с важными метриками. Плюс, отдельно хранение и очистку старых журналов. А потом всё это можно будет собрать в единую законченную статью.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX
#loki #logs #devops
На текущий момент я разобрал следующие темы:
Сегодня разберу вопрос отправки журналов с логами Windows. Как бы не пытались аврально импортозаместиться, всё равно инфраструктура на Windows - значительная часть. А может и бóльшая, смотря как считать.
На удивление, настройка Alloy оказалась довольно замороченной, несмотря на то, что есть документация. ИИ по какой-то причине предлагает постоянно неработающие конфигурации. Я что с Linux, что с Windows в итоге разбирался сам.
Основная проблем с метками, привязанными к имени сервера и с их синтаксисом в конфигурации в целом. С непривычки приходится много времени тратить, чтобы разобраться. Вообще, это самая важная часть настройки сбора логов в Loki, так как тут выборка в основном по ним идёт. Надо сразу аккуратно продумать всю схему, чтобы потом не путаться.
Установка Alloy в Windows максимально простая - скачиваем установщик из репозитория и запускаем. Нужен будет файл alloy-installer-windows-amd64.exe.
Alloy устанавливается как служба с автозапуском. После установки нужно отредактировать конфигурацию. К сожалению, если я правильно понял, для логов Windows не работает автообнаружение всех системных журналов, в том числе служб и сервисов с автоматическим назначением меток к ним. Их нужно явно указывать в конфигурации.
Покажу пример с тремя стандартными журналами: System, Application и Security. Положил работающий и отлаженный файл конфигурации в репозиторий. На винде отлаживать неудобно, так как если в конфигурации была ошибка, служба тупо не запускалась с неинформативной ошибкой. Приходилось вручную всё проверять и пробовать разные варианты.
В итоге получил то, что хотел. Для логов назначил две метки:
◽️
instance = "имя сервера", например WINSRV01.◽️
job = "имя сервера"-"имя журнала", то есть WINSRV01-application. С этими метками можно просто открыть все логи сервера по имени и в нём по меткам открыть нужные потоки. Но если будет необходимость сразу из общего списка взять отдельный job конкретного сервера, это тоже можно сделать, так как в названии job будет имя сервера.
Редактируем конфигурацию, перезапускаем службу Alloy и идём в Grafana смотреть логи. Никаких дополнительных настроек делать не надо. Loki сам парсит виндовые логи и выделяет в них стандартные поля: event_id, channel, level, security_userId, timeCreated и т.д. По ним сразу можно делать выборку.
Несмотря на некоторые трудности и неудобства стека на базе Loki и Alloy, пользоваться им приятно в том плане, что базовые настройки относительно просты и функциональны. Можно особо не заморачиваясь просто отправлять логи в Loki и с ними тут будет удобно работать. Он сам распарсит стандартные типы, что позволит сразу выборки делать и рисовать дашборды. Когда изучал ELK с парсингом больше ковырялся. Тут он как-то проще работает.
Далее планирую разобрать сбор логов веб сервера и создание дашбордов для них с важными метриками. Плюс, отдельно хранение и очистку старых журналов. А потом всё это можно будет собрать в единую законченную статью.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#loki #logs #devops
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍96👎1
config_for_windows.alloy
1.3 KB
Конфигурация Alloy для Windows к предыдущей заметке. Она же продублирована в репозитории: https://gitflic.ru/project/serveradmin/grafana-loki
👍39👎1
Есть отдельная категория программ для синхронизации между собой каталогов. Они прям так и выглядят, как файловые менеджеры с двумя панелями, в которых открыты разные каталоги. И там же настраиваются параметры синхронизации.
Я в разное время использовал следующих представителей этих программ:
◽️ GoodSync - очень крутая и функциональная программа, но платная. Она старая, с большой историей, в том числе лекарств. Если надо, без проблем всё находится. У меня до сих пор хранится и работает какая-то древняя версия 15-ти летней давности.
◽️ FreeFileSync - это более простой аналог GoodSync, но зато полностью бесплатный. При этом кроссплатформенный. Много всего умеет, в том числе подключатся к некоторым облачным дискам, или к тем же линуксам по sftp.
Подобные программы удобны для копирования разнородных бэкапов с одного хранилища в другое, если нет какой-то централизованной системы.
❗️Дома, к примеру, я держу на одном из компьютеров свой полный Яндекс.Диск и бэкаплю его таким образом, делая полную локальную копию с сохранением истории изменения файлов. Один раз меня эта копия спасла, когда в облаке пропала часть файлов. Вроде писал об этом заметку.
Так что имейте ввиду, кто ещё не сталкивался и рассчитывает на надёжность платных облачных решений. Там ваши файлы могут безвозвратно пропасть и никто их не восстановит. Если их очень много и нет какого-то контроля изменений, потеря даже небольшой части в какой-то момент может оказаться неприятным сюрпризом.
К чему я это всё. Как уже не первый раз бывало, я недавно увидел упоминание бесплатной программы под Windows - SyncToy. Ей сто лет в обед, входила в состав PowerToys и полностью бесплатна. Решает ровно одну задачу - синхронизация двух каталогов. Поддерживает 3 режима синхронизации:
- полная двусторонняя синхронизация каталогов;
- односторонняя синхронизация изменений в одном каталоге;
- односторонняя синхронизация изменений с сохранением удалённых файлов, изменения перезаписываются.
Последний вариант идеально подходит под локальный бэкап облачных дисков, типа Яндекс.Диска. Стал искать информацию про SyncToy. Оказалось, что в 2021 году Microsoft прекратила его поддержку и убрала загрузку с своего сайта, закрыла сайт программы. Найти дистрибутив можно только на каких-то сторонних сайтах, где она ещё осталась.
Мне стало любопытно проверить самую старую версию последнего релиза от 2009 года. Скачал, проверил подпись, проверил на вирусы, всё чисто (загрузил к себе). Установил на свежую Win11, и всё заработало. Предварительно нужно через Панель управления в компонентах системы установить .NET Framework 3.5. У меня он уже стоял, так что программа сразу заработала без каких-либо проблем и ошибок.
Не знаю, почему её Microsoft удалила. Не мешала же никому столько лет. Нормально работает до сих пор. У программы есть консольный режим, так что можно запускать задачи через системный планировщик.
Если хотите решить задачу синхронизации каталогов без постороннего софта, то можно взять консольный robocopy, который есть в системе по умолчанию. Там отдельный ключ для этого. Синхронизация выглядит примерно так в самом простом варианте:
По логике и возможностям чем-то линуксовый rsync напоминает. Тоже ворох ключей, проверок, уточнений, выборки, логирования и т.д. В несколько этапов можно и версионирование сделать, и сохранение удалённых файлов.
☝️ Если ещё не бэкапите свой облачный диск, обязательно это сделайте. У меня этих копий теперь несколько, а одна с сохранением истории. После той истории стало страшно всё потерять из-за ошибки и синхронизировать потерю между всеми бэкапами. Когда опомнишься, уже поздно будет.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX
#windows #backup
Я в разное время использовал следующих представителей этих программ:
◽️ GoodSync - очень крутая и функциональная программа, но платная. Она старая, с большой историей, в том числе лекарств. Если надо, без проблем всё находится. У меня до сих пор хранится и работает какая-то древняя версия 15-ти летней давности.
◽️ FreeFileSync - это более простой аналог GoodSync, но зато полностью бесплатный. При этом кроссплатформенный. Много всего умеет, в том числе подключатся к некоторым облачным дискам, или к тем же линуксам по sftp.
Подобные программы удобны для копирования разнородных бэкапов с одного хранилища в другое, если нет какой-то централизованной системы.
❗️Дома, к примеру, я держу на одном из компьютеров свой полный Яндекс.Диск и бэкаплю его таким образом, делая полную локальную копию с сохранением истории изменения файлов. Один раз меня эта копия спасла, когда в облаке пропала часть файлов. Вроде писал об этом заметку.
Так что имейте ввиду, кто ещё не сталкивался и рассчитывает на надёжность платных облачных решений. Там ваши файлы могут безвозвратно пропасть и никто их не восстановит. Если их очень много и нет какого-то контроля изменений, потеря даже небольшой части в какой-то момент может оказаться неприятным сюрпризом.
К чему я это всё. Как уже не первый раз бывало, я недавно увидел упоминание бесплатной программы под Windows - SyncToy. Ей сто лет в обед, входила в состав PowerToys и полностью бесплатна. Решает ровно одну задачу - синхронизация двух каталогов. Поддерживает 3 режима синхронизации:
- полная двусторонняя синхронизация каталогов;
- односторонняя синхронизация изменений в одном каталоге;
- односторонняя синхронизация изменений с сохранением удалённых файлов, изменения перезаписываются.
Последний вариант идеально подходит под локальный бэкап облачных дисков, типа Яндекс.Диска. Стал искать информацию про SyncToy. Оказалось, что в 2021 году Microsoft прекратила его поддержку и убрала загрузку с своего сайта, закрыла сайт программы. Найти дистрибутив можно только на каких-то сторонних сайтах, где она ещё осталась.
Мне стало любопытно проверить самую старую версию последнего релиза от 2009 года. Скачал, проверил подпись, проверил на вирусы, всё чисто (загрузил к себе). Установил на свежую Win11, и всё заработало. Предварительно нужно через Панель управления в компонентах системы установить .NET Framework 3.5. У меня он уже стоял, так что программа сразу заработала без каких-либо проблем и ошибок.
Не знаю, почему её Microsoft удалила. Не мешала же никому столько лет. Нормально работает до сих пор. У программы есть консольный режим, так что можно запускать задачи через системный планировщик.
Если хотите решить задачу синхронизации каталогов без постороннего софта, то можно взять консольный robocopy, который есть в системе по умолчанию. Там отдельный ключ для этого. Синхронизация выглядит примерно так в самом простом варианте:
# robocopy "D:\Source" "E:\Backup" /MIRПо логике и возможностям чем-то линуксовый rsync напоминает. Тоже ворох ключей, проверок, уточнений, выборки, логирования и т.д. В несколько этапов можно и версионирование сделать, и сохранение удалённых файлов.
☝️ Если ещё не бэкапите свой облачный диск, обязательно это сделайте. У меня этих копий теперь несколько, а одна с сохранением истории. После той истории стало страшно всё потерять из-за ошибки и синхронизировать потерю между всеми бэкапами. Когда опомнишься, уже поздно будет.
———
ServerAdmin:
#windows #backup
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍101👎1
В конце прошлого года по каналам проскочило упоминание новой веб панели для бэкапов на базе Restic под названием Zerobyte. Мне нравится Restic за его простоту, скорость и функциональность, поэтому я сразу обратил на неё внимание, но решил подождать некоторого развития, чтобы понять, собственно, будет оно или нет.
На прошлой неделе видел видео, где упоминалась Zerobyte, так что решил её попробовать сам. Сразу скажу, что панелька понравилась. Я её подробно изучил и проверил на реальных примерах, так что могу обстоятельно всё рассказать.
📌 Особенности Zerobyte:
▪️Приятный и логичный веб интерфейс.
▪️В качестве бэкенда для бэкапов использует Restic. У меня было много заметок про него с примерами, можно по тэгу посмотреть, так что не буду повторяться и рассказывать, что это такое.
▪️В качестве бэкенда для хранения может использовать локальную директорию, S3, Rest Server, SFTP, Rclone и некоторые другие облачные хранилища.
▪️Может бэкапить локальные директории, SMB и NFS шары, ресурсы, доступные по WebDAV и SFTP.
Связка Restic и Rclone делает Zerobyte универсальным решением, которое выполняет роль управляющей обвязки и не вносит свой слой обработки. То есть в случае чего доступ к бэкапам и данным можно получить напрямую, минуя веб панель.
Я для примера подключил к Zerobyte шару по SMB и забэкапил её в S3 бакет Селектела. Доступ в S3 настроен через Rclone, так что начнём настройку с него. Ставим на сервер, где будет работать Zerobyte:
Дальше настраиваем доступ к хранилищу S3. Для этого надо создать бакет, выдать права через отдельного сервисного пользователя и настроить доступ через rclone. Я не буду всё это описывать, так как очень большой объём. В документации хостера подробно показано. Я в своё время по ним делал. После настройки надо проверить, что через Rclone виден подключенный бакет:
Теперь рисуем конфигурацию
Вот мой итоговый
Запускаем:
Идём в веб интерфейс по IP адресу сервера на порт 4096, создаём нового пользователя.
Теперь вам нужно создать Volume - это источник бэкапов. Потом создаём репозиторий - место, где будут храниться бэкапы. В качестве бэкенда указываем Rclone и настроенный ранее Remote в Селектеле.
После этого идём в раздел Backups и добавляем задание, запускаем. После того, как оно отработает, можно сходить в бакет и проверить, появились ли там данные. В бакете будет располагаться шифрованный репозиторий Restic. Сами данные вы не увидите, так как Restic всё шифрует, поэтому в качестве хранилища можно использовать всё, что угодно. Тот же Rclone поддерживает подключение к Яндекс.Диску.
Провозился несколько часов, пока всё проверил и настроил. Долго ковырялся с подключением по SMB, пока не понял, что ошибка Permission denied во время подключения это не ошибка доступа к шаре, а нехватка прав у контейнера.
В целом продукт интересный, мне понравился. Если продолжит развитие, то завоюет популярность.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX
#restic #backup
На прошлой неделе видел видео, где упоминалась Zerobyte, так что решил её попробовать сам. Сразу скажу, что панелька понравилась. Я её подробно изучил и проверил на реальных примерах, так что могу обстоятельно всё рассказать.
📌 Особенности Zerobyte:
▪️Приятный и логичный веб интерфейс.
▪️В качестве бэкенда для бэкапов использует Restic. У меня было много заметок про него с примерами, можно по тэгу посмотреть, так что не буду повторяться и рассказывать, что это такое.
▪️В качестве бэкенда для хранения может использовать локальную директорию, S3, Rest Server, SFTP, Rclone и некоторые другие облачные хранилища.
▪️Может бэкапить локальные директории, SMB и NFS шары, ресурсы, доступные по WebDAV и SFTP.
Связка Restic и Rclone делает Zerobyte универсальным решением, которое выполняет роль управляющей обвязки и не вносит свой слой обработки. То есть в случае чего доступ к бэкапам и данным можно получить напрямую, минуя веб панель.
Я для примера подключил к Zerobyte шару по SMB и забэкапил её в S3 бакет Селектела. Доступ в S3 настроен через Rclone, так что начнём настройку с него. Ставим на сервер, где будет работать Zerobyte:
# apt install rcloneДальше настраиваем доступ к хранилищу S3. Для этого надо создать бакет, выдать права через отдельного сервисного пользователя и настроить доступ через rclone. Я не буду всё это описывать, так как очень большой объём. В документации хостера подробно показано. Я в своё время по ним делал. После настройки надо проверить, что через Rclone виден подключенный бакет:
# rclone ls selectel_s3:zerobyteТеперь рисуем конфигурацию
compose.yml для запуска панели. Я обнаружил в ней один баг, из-за которого не получалось в качестве источника для бэкапов смонтировать внутрь контейнера SMB или NFS ресурс. Контейнеру не хватает каких-то прав. Решается добавлением этих прав или запуска контейнера в привилегированном режиме. Если это недопустимо, то можно монтировать ресурсы к хосту и прокидывать в контейнер.Вот мой итоговый
compose.yml:services:
zerobyte:
image: ghcr.io/nicotsx/zerobyte:v0.25
container_name: zerobyte
restart: unless-stopped
cap_add:
- SYS_ADMIN
- SYS_PTRACE
security_opt:
- seccomp:unconfined
- apparmor:unconfined
ports:
- "4096:4096"
devices:
- /dev/fuse:/dev/fuse
environment:
- TZ=Europe/Moscow
- BASE_URL=http://192.168.137.29:4096
- APP_SECRET=f47c06b21f12a2261f9dd
volumes:
- /etc/localtime:/etc/localtime:ro
- /var/lib/zerobyte:/var/lib/zerobyte
- /mnt/backup:/backup
- ~/.config/rclone:/root/.config/rclone:ro
Запускаем:
# docker compose up -dИдём в веб интерфейс по IP адресу сервера на порт 4096, создаём нового пользователя.
Теперь вам нужно создать Volume - это источник бэкапов. Потом создаём репозиторий - место, где будут храниться бэкапы. В качестве бэкенда указываем Rclone и настроенный ранее Remote в Селектеле.
После этого идём в раздел Backups и добавляем задание, запускаем. После того, как оно отработает, можно сходить в бакет и проверить, появились ли там данные. В бакете будет располагаться шифрованный репозиторий Restic. Сами данные вы не увидите, так как Restic всё шифрует, поэтому в качестве хранилища можно использовать всё, что угодно. Тот же Rclone поддерживает подключение к Яндекс.Диску.
Провозился несколько часов, пока всё проверил и настроил. Долго ковырялся с подключением по SMB, пока не понял, что ошибка Permission denied во время подключения это не ошибка доступа к шаре, а нехватка прав у контейнера.
В целом продукт интересный, мне понравился. Если продолжит развитие, то завоюет популярность.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#restic #backup
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍87👎2