Так как же удалить миллионы файлов из одной папки?

Для тех, кто не в курсе проблемы, краткое описание: если вы случайно создали в одной директории огромное количество файлов без иерархии — т.е. от 5 млн файлов, лежащих в одной единственной плоской директории, то быстро удалить их не получится. Кроме того, не все утилиты в linux могут это сделать в принципе — либо будут сильно нагружать процессор/HDD, либо займут очень много памяти.

Так что я выделил время, организовал тестовый полигон и попробовал различные средства, как предложенные в комментариях, так и найденные в различных статьях и свои собственные.

https://telegra.ph/Tak-kak-zhe-udalit-milliony-fajlov-iz-odnoj-papki-12-19

👉 @sysadminof

Файловые системы \ FS \ sfdisk \ e2label \ mkfs \

ext3 - Наиболее распространенная файловая система Linux,
предоставляющая возможность журналирования с целью
сохранения данных и возможность быстро перезагружать
систему после некорректного завершения ее работы
ext2 - Файловая система, предшествующая ext3,
не поддерживающая функцию журналирования
iso9660 - появилась из файловой системы High Sierra (была стандартом для компакт-дисков)
и может содержать расширения Rock Ridge для обеспечения возможности
использования длинных имен файлов и других функций (полномочия доступа
к файлу, права собственности и ссылки)
jffs2 - Журналируемая файловая система для флэш-носителей, созданная для
эффективной работы с USB-накопителями
jfs - Файловая система, используемая на IBM в OS/2 Warp и настроенная на работу
с большими файловыми системами и средами с высокой производительностью
msdos - Может использоваться для монтирования файловых систем на устаревшие
носители MS-DOS, например старые дискеты
ntfs - Может быть полезна, когда есть необходимость передавать файлы
в файловые системы Windows (с двойной загрузкой или на сменных носителях)
reiserfs - Журналируемая файловая система, иногда используемая по умолчанию на SUSE,
Slackware и других операционных системах Linux
squashfs - Запакованная файловая система, предназначенная только для чтения
данных и используемая на многих Live CD Linux
swap - Используется на разделах подкачки для временного хранения данных,
когда оперативная память временно недоступна
ufs - Популярная файловая система операционных систем Solaris
и SunOS от корпорации Sun Microsystems
vfat - Расширенная файловая система FAT (VFAT), которая полезна,
если файловым системам нужно обмениваться файлами
с более старыми системами Windows (с двойной загрузкой или на сменных носителях)
xfs - Журналируемая файловая система для среды с высокой производительностью,
размер которой может расширяться до многих терабайт данных,
а скорость передачи данных в которой исчисляется гигабайтами в секунду

sfdisk - программа для работы с таблицей разделов жесткого диска
sfdisk -d /dev/sda > sda-table - Выполняет резервное копирование таблицы разбиения в файл
sfdisk /dev/sda < sda-table - Восстанавливает таблицу разбиения из файла
sfdisk -d /dev/sda | sfdisk /dev/sdb - Копирует таблицу разбиения с одного диска на другой

fdisk - программа для работы с таблицей разделов жесткого диска (устарела)

e2label /dev/sda2 - посмотреть метку второго раздела
e2label /dev/sda2 my_lable_name - назначить метку my_lable_name второму разделу

findfs LABEL=my_lable_name - ищем раздел по метке
(например в /etc/fstab монтирование по метке)

mkfs -t ext3 /dev/sdb1 - Создает файловую систему ext3 на разделе sba1
mkfs -t ext3 -v -c /dev/sdb1 - Расширенная команда, выполняющая также
поиск поврежденных блоков
mkfs.ext3 -с /dev/sdb1 - Создает файловую систему ext3 на разделе sba1
mkfs.ext3 -с -L mypartition /dev/sdb1 - Создает файловую систему ext3 на разделе sba1
и добавляет разделу метку

dd if=/dev/scd0 of=name_file.iso bs=2048 - извлекаем образ iso с cd/dvd

dd if=/dev/zero of=my_disk count=2048000 - Создаем заполненный нулями файл объемом 1 Гбайт
du -sh my_disk - Проверяем размер виртуальной файловой системы
mkfs -t ext3 my_disk - Создаем файловую систему на mydisk
mkdir /mnt/image - создаем пустой каталог
mount -o loop my_disk /mnt/image - монтируем my_disk в пустой каталог
cd /mnt/image - переходим в каталог /mnt/image
mkdir test - создаем каталог test
cp /etc/hosts - копируем /etc/hosts в текущий каталог
cd .. - переходим на уровень выше (выходим из текущего каталога)
umount /mnt/image - отмонтмровать /mnt/image

👉 @sysadminof

👨‍💻Мы часто слышим дискуссии о том, какая из российских ОС наиболее популярна.

🔍Аналитики ICT2GO проанализировали более 40 российских мероприятий с тематикой «Операционные системы» за 2024 год и выяснили, какая из них привлекала к себе внимание чаще остальных:

- Astra Linux – 32,5%
- Альт – 25%
- РЕД ОС – 20%
- Аврора – 10%
- ROSA – 7,5%
остальные – 5%

Неважно, какая ОС вам нравится больше. Информация обо всех мероприятиях для системных администраторов и не только собрана в одном удобном агрегаторе. Телеграм-канал «ICT2GO.ru – мероприятия ИТ» уже более семи лет освещает самые яркие из них для того, чтобы вы точно не пропустили ничего важного.

📌На канале вы найдете:
– подборки ключевых ИТ-ивентов на следующую неделю;
– экспертные мнения и рекомендации по мероприятиям;
– прямые включения, фотоотчеты и самые интересные цитаты спикеров.

Подписаться

erid LjN8KGmQ2

HDD tools

gsmartcontrol - графическая программа проверки диска (SMART)
smartmontools - консольная программа для проверки и контроля диска (SMART)
parted - работа с таблицей разделов, аналог fdisk (еще есть partx)
partman - разметка диска (поддерживает LVM) (Это предпочтительная утилита)
partitioner - разметить диск
fdisk - разметка диска
ls -l /dev/disk/by-uuid - вот так узнать UUID жесткого диска для файла /etc/fstab
blkid - вот так узнать UUID жесткого диска для файла /etc/fstab
cat /proc/partitions - Все зарегистрированные разделы (Linux)
mount - Смонтированные файловые системы
mount | column -t - Смонтированные файловые системы
df - Свободное пространство на дисках

👉 @sysadminof

Инструмент для сканирования на наличие артефактов и уязвимостей RouterOS (Mikrotik)

Инструмент для экспертизы устройств Mikrotik. Поиск подозрительных свойств и слабых точек безопасности, которые необходимо устранить на маршрутизаторе.

Функциональные возможности этого инструмента включают следующее:

Получение версии устройства и сопоставление ее с CVEs.
Проверка наличия запланированных задач
Поиск правил перенаправления трафика
Поиск отравления кэша DNS
Поиск изменений портов по умолчанию
Ищите пользователей не по умолчанию
Ищите подозрительные файлы
Ищите правила прокси, socks и FW.

https://github.com/microsoft/routeros-scanner

👉 @sysadminof

🌍Хотите освоить работу с географическими данными в PostgreSQL?

Приглашаем на бесплатный вебинар 26.12 в 20:00, где вы узнаете как использовать PostGIS для решения практических задач. Запишитесь сейчас и улучшите свои навыки в работе с геоданными!

На вебинаре мы разберем:

- Что такое системы координат (SRID) и как они влияют на работу с географическими данными.

- Какие типы географических объектов поддерживаются в PostgreSQL и как их создавать.

- Основные функции для работы с географическими данными: расчёт расстояний, проверка пересечений и построение зон.

- Как использовать PostgreSQL для решения практических задач, связанных с географией, например, поиск ближайшего объекта или определение зоны покрытия.

👉Регистрация. Участие бесплатно: https://vk.cc/cGldNn

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Traceroute и Tracert — утилиты-близнецы? Что такое трассировка сети

В Windows эта команда называется Tracert, а в Linux и MacOS – Traceroute.

Разница между Traceroute и Tracert

Tracert

🔹1- Tracert, в отличие от своего Linux-двойника, реализован на основе протокола ICMP, а не UDP.
🔹2- Tracert отправляет эхо-запрос ICMP (ICMP Echo Request) с TTL=1.
🔹3- Первый маршрутизатор проверяет адрес назначения, чтобы выяснить был ли отправлен запрос именно ему.
🔹4- Узнав, что цель пакета – другой хост, маршрутизатор отбрасывает его, и TTL становится равным 0.
🔹5- Затем маршрутизатор 1 отправляет ICMP-сообщение с указанием информации о себе и причине проблемы источнику пакета: «Time-To-Live Exceeded» или «Time Exceeded in transit».
🔹6- Благодаря этому сообщению Tracert записывает маршрутизатор 1 как первый транзитный участок или, как его ещё называют, «хоп, прыжок». Процесс передачи пакета между промежуточными маршрутизаторами продолжится, пока переменная (TTL ICMP-запроса), не станет равна количеству «прыжков» между узлом-отправителем и узлом-получателем, и пакет не будет получен хостом назначения или количество сетевых переходов не превысит максимальное значение для Tracert – 30.
🔹7- Когда целевой хост проверит IP-адрес назначения и узнает, что запрос был направлен именно ему, он отправит эхо-ответ ICMP (ICMP Echo Request), что даст утилите понять, что процесс передачи завершён.


Traceroute

В чём ещё отличие Traceroute от Tracert? В Traceroute схема схожая, практически идентичная.

Целевому хосту направляется фрагментированный UDP-запрос. Таким образом, отправляется сразу несколько пакетов с TTL: TTL=1, TTL=2 и TTL=3.

Вот только раз эта утилита не отправляет эхо-запрос ICMP, как она понимает, что трассировка подошла к концу?

Всё просто: в каждом пакете содержатся данные о порте отправителя (Source) и порте получателя (Destination). Destination порт по умолчанию закрытый (34434), поэтому утилита Traceroute сразу понимает, что процесс передачи данных завершён, когда получает ответ с сообщением о недоступности порта «Destination port unreachable» (Хост/Порт недостижим). Иными словами, запрос достиг целевого хоста.

https://telegra.ph/Traceroute-i-Tracert--utility-bliznecy-CHto-takoe-trassirovka-seti-12-23

👉 @sysadminof

📉Сегодня компании теряют время на ручное управление контейнерами и неэффективные процессы, а разработка продуктов страдает от разрозненных подходов к инфраструктуре.

💡Представьте инфраструктуру, где каждый компонент под контролем, процессы автоматизированы, а команда сосредоточена на продукте, а не на инфраструктуре. Kubernetes — ваш путь к таким изменениям.

🔥Обучение «Инфраструктурная платформа на основе Kubernetes» даст вам навыки, чтобы настроить, оптимизировать и контролировать работу вашей платформы. Это шанс подняться в карьере и стать незаменимым инженером, способным управлять масштабируемыми системами.

👉Регистрация заканчивается, а также скидка до 20% по промокоду Kuber_12, успейте занять место на самых выгодных условиях: https://vk.cc/cGrhyS

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Скидка по промокоду действительная до 31.12.2024г

Эти утилиты предоставляют важные возможности для анализа и отладки сетевых проблем в различных операционных системах📌

Windows

◽tracert - стандартная утилита в Windows для трассировки маршрута, которая известна многим.
tracert google.com


◽pathping - это встроенный в Windows аналог утилиты mtr с аналогичной функциональностью, но поддерживающий только icmp запросы. Обычно он уже установлен в системе, и его не требуется устанавливать отдельно.
pathping google.com


◽tracetcp - это виндовая утилита, которая может выполнять tcp syn запросы по маршруту следования пакетов. Она помогает определить доступность определенного порта и может указать, где именно блокируется этот порт. Для установки этой утилиты потребуется скачать ее с официального сайта и установить вручную.
tracetcp google.com:443


Linux

◽traceroute - это стандартная утилита Linux, предназначенная для трассировки маршрута. По умолчанию она использует протокол udp, но вы можете выполнить трассировку с использованием протокола icmp следующим образом:
traceroute -I google.com


◽tracepath - аналогична утилите traceroute, но использует протокол udp и сразу выводит значения mtu и маршрутизаторы, где происходит изменение mtu.
tracepath google.com


◽mtr - эта утилита объединяет функциональность утилит ping и traceroute. Она может использовать протоколы tcp, udp и icmp. В операционной системе Windows есть аналог с названием Winmtr.
mtr -c3 google.com

👉 @sysadminof