Архивирование и хранение. Часть 2/4.
Всем привет, с вами снова TagdTagd.
Я уже упоминал программу par2. Она разрабатывалась очень давно, скорее всего во времена ленточных накопителей. И ее логика работы не совсем понятна современным пользователям. Блоки четности разбиваются на несколько файлов. Сделано это было по нескольким причинам:
1. par2 - старая программа, и там есть ограничение в 2 Гб на файл.
2. Раньше сети были медленными, скачать большой файл было проблемой, а для восстановления, как правило, весь файл не нужен.
Разработчики предоставили возможность качать только те файлы, которые нужны для восстановления данных. С одной стороны это удобно, с другой ограничивает использование программы ручным режимом. Ну, при наличии большого желания, процесс тоже можно автоматизировать.
Кстати, сейчас уже появилась новая версия программы. Par3 в которой уже нет таких ограничений на размеры файлов, но и самой программы пока нет в стандартных репозиториях, поэтому и распространение она пока не получила.
На мой взгляд довольно удобным методом восстановления данных обладает rar.
Разработчик добавил туда ключ -rr, который к архиву добавляет данные для восстановления. Причем сам файл функциональности не теряет.
В далекие годы я и сам не раз пользовался этим архиватором, при переносе данных на дискетах. Он меня не раз спасал. Достаточно добавить 1% данных для восстановления, и это уже спасает от битового гниения (bit rot) и ошибок при передаче по сети.
К сожалению rar архиватор платный, даже в мире Linux. (хотя unrar бесплатный). Поэтому в следующих частях создадим ему опенсорсную альтернативу с помощью двух простых bash скриптов.
Продолжение следует...
🛠 #devops
—
💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog
Всем привет, с вами снова TagdTagd.
Первая часть тут: https://t.me/bashdays/1561
Я уже упоминал программу par2. Она разрабатывалась очень давно, скорее всего во времена ленточных накопителей. И ее логика работы не совсем понятна современным пользователям. Блоки четности разбиваются на несколько файлов. Сделано это было по нескольким причинам:
1. par2 - старая программа, и там есть ограничение в 2 Гб на файл.
2. Раньше сети были медленными, скачать большой файл было проблемой, а для восстановления, как правило, весь файл не нужен.
Разработчики предоставили возможность качать только те файлы, которые нужны для восстановления данных. С одной стороны это удобно, с другой ограничивает использование программы ручным режимом. Ну, при наличии большого желания, процесс тоже можно автоматизировать.
Кстати, сейчас уже появилась новая версия программы. Par3 в которой уже нет таких ограничений на размеры файлов, но и самой программы пока нет в стандартных репозиториях, поэтому и распространение она пока не получила.
На мой взгляд довольно удобным методом восстановления данных обладает rar.
Разработчик добавил туда ключ -rr, который к архиву добавляет данные для восстановления. Причем сам файл функциональности не теряет.
В далекие годы я и сам не раз пользовался этим архиватором, при переносе данных на дискетах. Он меня не раз спасал. Достаточно добавить 1% данных для восстановления, и это уже спасает от битового гниения (bit rot) и ошибок при передаче по сети.
К сожалению rar архиватор платный, даже в мире Linux. (хотя unrar бесплатный). Поэтому в следующих частях создадим ему опенсорсную альтернативу с помощью двух простых bash скриптов.
man par2
man unrar
Продолжение следует...
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Selectel
Этот вечер спасут они 🦸
Вместе с Романом Шубиным, CTO и автором канала Bash Days, собрали новую подборку консольных команд. Она облегчит жизнь системного администратора — сохраняйте!
Кстати, это уже третий пост подборки. Еще больше команд — в первой и второй частях.
Не забудьте поделиться находкой с коллегами!
Вместе с Романом Шубиным, CTO и автором канала Bash Days, собрали новую подборку консольных команд. Она облегчит жизнь системного администратора — сохраняйте!
Кстати, это уже третий пост подборки. Еще больше команд — в первой и второй частях.
Не забудьте поделиться находкой с коллегами!
This media is not supported in your browser
VIEW IN TELEGRAM
Мы создаем программно-аппаратные комплексы под брендом Скала^р, проектируем уникальные инфраструктуры и сервисы для высоконагруженных систем и формируем профессиональную среду для тех, кто развивает цифровую инфраструктуру страны.
До 14 ноября проходит голосование соискателей, и нам очень пригодится ваша поддержка.
Чтобы проголосовать, нужно:
Готово! Спасибо за поддержку
А если вы хотите узнать больше о наших технологиях и подходах, заглядывайте в блог Группы Rubytech на Хабре.
Реклама. ООО «Рубитех», ИНН 7702404085, erid: 9RCQq4g6SY6boowKw6RB4XSdzqe3x42k2dVykBjEBKzN9tiwvbrp7DV78
Please open Telegram to view this post
VIEW IN TELEGRAM
Docker, apt, pip, Ansible или Nix: кто оказался быстрее?
Инженеры HOSTKEY протестировали пять способов установки приложений на сервер и сравнили скорость запуска, потребление ресурсов, производительность и устойчивость к сбоям.
Результаты оказались неожиданными:
⚡️ Быстрее всех приложение запустил Nix — за 27 секунд. Docker потребовалось 110 секунд, а Ansible — 111.
Самым затратным по дисковому пространству оказался Docker — около 2 ГБ дополнительных данных против 266 МБ у apt.
⚠️ А хуже всего прерванную установку пережил pip: после сбоя систему пришлось восстанавливать вручную.
Но есть нюанс: не всегда инструмент, который выглядит быстрее в бенчмарке, действительно быстрее сам по себе. На результаты влияют подготовленное окружение, версии библиотек и характеристики серверов.
Все цифры, подробности эксперимента и выводы — в статье HOSTKEY.
👉 Читать исследование
А как считаете, какие инструменты или сценарии стоило бы протестировать следующими?
Реклама. ООО "АЙТИБ", ИНН 9719026854
Инженеры HOSTKEY протестировали пять способов установки приложений на сервер и сравнили скорость запуска, потребление ресурсов, производительность и устойчивость к сбоям.
Результаты оказались неожиданными:
⚡️ Быстрее всех приложение запустил Nix — за 27 секунд. Docker потребовалось 110 секунд, а Ansible — 111.
Самым затратным по дисковому пространству оказался Docker — около 2 ГБ дополнительных данных против 266 МБ у apt.
⚠️ А хуже всего прерванную установку пережил pip: после сбоя систему пришлось восстанавливать вручную.
Но есть нюанс: не всегда инструмент, который выглядит быстрее в бенчмарке, действительно быстрее сам по себе. На результаты влияют подготовленное окружение, версии библиотек и характеристики серверов.
Все цифры, подробности эксперимента и выводы — в статье HOSTKEY.
👉 Читать исследование
А как считаете, какие инструменты или сценарии стоило бы протестировать следующими?
Реклама. ООО "АЙТИБ", ИНН 9719026854
Реанимируем зомбоящик
Я тут имбу тебе принес, щас расскажу. Короче предыстория, есть у меня телевизор на кухне под названием — Хуёмоё. Первый год эта залупа работала вменяемо, ну а потом начались приколы, толи оно обновилось, толи еще чего.
Короче эта хрень просто висела и пылилась, покупать новый тивилизор я в рот ебал, а официальной и облегченной прошивки не существовало, да и девайс уже снят с поддержки.
На днях мне попалась репка Cleanyourtv и это стало спасением. С помощью нее можно практически любой телек реанимировать, оно зачищает вообще всё внутри и оставляет только то, что тебе нужно.
Я оставил только SmartTube, Jellyfin, Wink, Kinopub, Vlc ну и там какие-то еще сервисные штуки которые мне нужны.
Теперь мой телевизор не просто летает, он блядь чемпион мира по скорости. Выпилилось абсолютно всё лишнее, весь нахуй гугол в поймоку. А по итогу получил даже новую морду.
Самое главное на телеке включить режим разработчика и активировать отладку по усб, ну и к вифи подключить. А дальше я просто пи-агенту скинул ссылку на репу и сказал, что я хочу, ну и спустя 10 минут я получил результат.
Да, наверное можно было руками все проделать, но чёт я и это в рот ебал, потому, что не был уверен что получится и убивать на это полдня совсем не хотелось.
Кстати вчера еще нашел несколько подобных решений на гитхабе, но про них писать не буду, если интересно поищи сам, мне хватило того, что я нашел. Ну и через агента можно там всяких штук удаленно наставить если уж очень хочется.
Изучай, мож тоже реанимируешь свой зомбоящик.
🛠 #рабочиебудни
—
💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog
Я тут имбу тебе принес, щас расскажу. Короче предыстория, есть у меня телевизор на кухне под названием — Хуёмоё. Первый год эта залупа работала вменяемо, ну а потом начались приколы, толи оно обновилось, толи еще чего.
Короче эта хрень просто висела и пылилась, покупать новый тивилизор я в рот ебал, а официальной и облегченной прошивки не существовало, да и девайс уже снят с поддержки.
На днях мне попалась репка Cleanyourtv и это стало спасением. С помощью нее можно практически любой телек реанимировать, оно зачищает вообще всё внутри и оставляет только то, что тебе нужно.
Я оставил только SmartTube, Jellyfin, Wink, Kinopub, Vlc ну и там какие-то еще сервисные штуки которые мне нужны.
Теперь мой телевизор не просто летает, он блядь чемпион мира по скорости. Выпилилось абсолютно всё лишнее, весь нахуй гугол в поймоку. А по итогу получил даже новую морду.
Самое главное на телеке включить режим разработчика и активировать отладку по усб, ну и к вифи подключить. А дальше я просто пи-агенту скинул ссылку на репу и сказал, что я хочу, ну и спустя 10 минут я получил результат.
Да, наверное можно было руками все проделать, но чёт я и это в рот ебал, потому, что не был уверен что получится и убивать на это полдня совсем не хотелось.
Кстати вчера еще нашел несколько подобных решений на гитхабе, но про них писать не буду, если интересно поищи сам, мне хватило того, что я нашел. Ну и через агента можно там всяких штук удаленно наставить если уж очень хочется.
Изучай, мож тоже реанимируешь свой зомбоящик.
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Запросов становится больше, ответы приходят медленнее. Какие настройки помогут веб-серверу справляться с нагрузкой, а какие изменения не дадут заметного результата? Чтобы разобраться, нужны и понимание конфигурации, и измерения.
2 ноября в 19:00 на открытом уроке курса «Инфраструктура высоконагруженных систем» разберёте оптимизацию Nginx и Angie под высокие нагрузки.
Рассмотрите системные параметры, влияющие на производительность, и настройку TLS для сокращения накладных расходов на шифрование. Узнаете, какие возможности кэширования есть у Nginx и Angie и как использовать их для снижения нагрузки.
Отдельно обсудите измерение и анализ производительности на стороне клиента и сервера. Разберёте, как оценивать эффект от изменений и находить узкие места, чтобы подбирать настройки под конкретный сценарий, а не копировать чужую конфигурацию.
После урока вы будете лучше понимать, какие параметры проверять в первую очередь, как подходить к оптимизации TLS и кэширования и чем подтверждать результат настройки.
Вебинар подойдёт системным администраторам Linux, DevOps-инженерам и разработчикам, которые отвечают за устойчивую работу веб-серверов под нагрузкой.
Урок проведёт Николай Лавлинский.
Зарегистрироваться: https://vk.cc/d3khWu
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
2 ноября в 19:00 на открытом уроке курса «Инфраструктура высоконагруженных систем» разберёте оптимизацию Nginx и Angie под высокие нагрузки.
Рассмотрите системные параметры, влияющие на производительность, и настройку TLS для сокращения накладных расходов на шифрование. Узнаете, какие возможности кэширования есть у Nginx и Angie и как использовать их для снижения нагрузки.
Отдельно обсудите измерение и анализ производительности на стороне клиента и сервера. Разберёте, как оценивать эффект от изменений и находить узкие места, чтобы подбирать настройки под конкретный сценарий, а не копировать чужую конфигурацию.
После урока вы будете лучше понимать, какие параметры проверять в первую очередь, как подходить к оптимизации TLS и кэширования и чем подтверждать результат настройки.
Вебинар подойдёт системным администраторам Linux, DevOps-инженерам и разработчикам, которые отвечают за устойчивую работу веб-серверов под нагрузкой.
Урок проведёт Николай Лавлинский.
Зарегистрироваться: https://vk.cc/d3khWu
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Если вы работаете с Kubernetes и облачной инфраструктурой: 23 ноября в Москве пройдёт Kuber Conf от АОТ — некоммерческая коммьюнити-конференция по K8s.
Участников ждут 2 трека, 17 докладов и 2 круглых стола — о Kubernetes на практике: управлении инфраструктурой, обеспечении безопасности, применении AI и решении сложных инженерных задач.
В программе:
— «Bare metal в Managed Kubernetes: как мы узнали, что железо — это не большая виртуалка» — Алексей Волков. О том, как добавить bare-metal-ноды в managed-сервис и какие проблемы возникают при отказе от виртуализации.
— «Одна строчка положила весь парк Kubernetes-кластеров: грабли ClusterClass и архитектура, которая из них выросла» — Макарий Балашов. О реальном инциденте, проблемах ClusterClass и новой архитектуре.
— «Техники создания и извлечения полезных метрик в высоконагруженных приложениях в больших кластерах Kubernetes» — Александр Сербул. О метриках Prometheus и работе с PromQL.
— «AI-чат, который видит все ваши системы» — Артём Соловьёв. О self-hosted LLM-агенте, MCP-серверах и безопасном доступе к инфраструктуре.
Это только часть программы — остальные доклады и подробности можно посмотреть на сайте конференции.
После докладов вас ждёт афтепати, ужин и неформальный нетворкинг.
📍 Москва, Connect, 5-й Донской проезд, 17
📅 23 ноября, 11:00–19:00
Хотите попасть на Kuber Conf со скидкой? Используйте промокод KUBER1000 при покупке билета — с учётом скидки стоимость участия составит 5 000 рублей. Предложение действует на ограниченное количество мест — успейте!
👉 Полная программа конференции и регистрация — на сайте Kuber Conf от АОТ.
Участников ждут 2 трека, 17 докладов и 2 круглых стола — о Kubernetes на практике: управлении инфраструктурой, обеспечении безопасности, применении AI и решении сложных инженерных задач.
В программе:
— «Bare metal в Managed Kubernetes: как мы узнали, что железо — это не большая виртуалка» — Алексей Волков. О том, как добавить bare-metal-ноды в managed-сервис и какие проблемы возникают при отказе от виртуализации.
— «Одна строчка положила весь парк Kubernetes-кластеров: грабли ClusterClass и архитектура, которая из них выросла» — Макарий Балашов. О реальном инциденте, проблемах ClusterClass и новой архитектуре.
— «Техники создания и извлечения полезных метрик в высоконагруженных приложениях в больших кластерах Kubernetes» — Александр Сербул. О метриках Prometheus и работе с PromQL.
— «AI-чат, который видит все ваши системы» — Артём Соловьёв. О self-hosted LLM-агенте, MCP-серверах и безопасном доступе к инфраструктуре.
Это только часть программы — остальные доклады и подробности можно посмотреть на сайте конференции.
После докладов вас ждёт афтепати, ужин и неформальный нетворкинг.
📍 Москва, Connect, 5-й Донской проезд, 17
📅 23 ноября, 11:00–19:00
Хотите попасть на Kuber Conf со скидкой? Используйте промокод KUBER1000 при покупке билета — с учётом скидки стоимость участия составит 5 000 рублей. Предложение действует на ограниченное количество мест — успейте!
👉 Полная программа конференции и регистрация — на сайте Kuber Conf от АОТ.