Ищем дубликаты файлов по содержимому!

Одинаковые имена — ещё не повод для удаления. Сегодня найдём дубликаты по содержимому — хеши не врут.

Сначала посчитаем хеши всех файлов и сгруппируем одинаковые:

find . -type f -exec sha256sum {} + | sort | uniq -d -w 64

• sha256sum — считает хеш для каждого файла
• sort + uniq -d -w 64 — ищет повторяющиеся хеши (первые 64 символа)

Хотим посмотреть все пути таких дубликатов? Используем:

find . -type f -exec sha256sum {} + | sort | tee hashes.txt | cut -d ' ' -f1 | uniq -d > dupes.txt
grep -Ff dupes.txt hashes.txt

Теперь чётко видно, какие файлы совпадают побайтово, даже если их имена или директории отличаются.

🔥 Подходит для очистки фотоархивов, бэкапов и любых больших хранилищ.

🚪 Bash Ready | #практика

👍 Искусство написания Bash‑скриптов на Opennet!

Полноценное онлайн‑руководство по практичным shell‑скриптам:
— структуры: условия, циклы, функции;
— советы по безопасности, ошибкам и «ловушкам» shell;
— примеры, которые реально можно адаптировать под свои задачи.

📌 Оставляю ссылочку: opennet.ru

🚪 Bash Ready | #сайт