Хеширование файлов

Интересный и доступный способ оптимизации вашего хранилища - это хеширование файлов – процесс преобразования данных в уникальный фиксированный строковый идентификатор (хеш). Этот идентификатор создается с помощью хеш-функции, которая применяет определенный алгоритм к входным данным и генерирует строку фиксированной длины. Наиболее популярными являются хеш-функции MD5, SHA-1 и SHA-256.

Преимущества хеширования файлов

1. Исключение дупликатов:
Хеширование позволяет легко определить, являются ли два файла одинаковыми. Если два файла имеют один и тот же хеш, они идентичны. Это помогает избежать хранения дубликатов и экономить пространство.

2. Оптимизация работы с данными:
Хранение хешей вместо файлов упрощает и ускоряет многие операции, такие как проверка целостности данных, поиск и сопоставление файлов. Хеширование уменьшает объем данных, с которыми нужно работать напрямую, что ускоряет процесс обработки.

3. Ускорение резервного копирования и восстановления данных:
При резервном копировании данных использование хешей помогает определить измененные файлы. Это позволяет копировать только измененные или новые файлы, что ускоряет процесс резервного копирования.

4. Безопасность:
Хеширование помогает защитить данные от несанкционированного доступа и изменений. Любое изменение файла приведет к изменению его хеша, что позволяет быстро обнаружить вмешательство.

Реализация

Пример реализации хеширования файлов на Python с использованием библиотеки hashlib:

import hashlib

def get_file_hash(file_path):
    hasher = hashlib.sha256()
    with open(file_path, 'rb') as file:
        buffer = file.read()
        hasher.update(buffer)
    return hasher.hexdigest()

file_path = 'example_file.txt'
file_hash = get_file_hash(file_path)
print(f'Hash for {file_path}: {file_hash}')

Этот код вычисляет SHA-256 хеш для указанного файла, по которому этот файл можно однозначно идентифицировать. Аналогичные функции можно реализовать и на других языках программирования.

Уже на этапе загрузки файлов на ваш сервер вы можете предотвратить дубликацию, проверив наличие полученного хеша в списке уже хранящихся значений. Таким образом, можно оставить лишь один из файлов, заменив целый медиа-объект ссылкой на оригинал.

Хеширование – это мощный инструмент для оптимизации хранилища данных, предотвращения дубликатов и повышения эффективности работы с данными. Оно также обеспечивает более быструю и безопасную обработку данных. Внедрение этой технологии поможет добиться значительных улучшений в управлении данными.

Опубликовал расширенную версию поста про хеширование файлов на vc.ru

https://vc.ru/dev/1229318-kak-heshirovanie-pomozhet-vam-optimizirovat-hranenie-dannyh

И следом опубликовал на любимом ☣ Хабре ☣

https://habr.com/ru/articles/821337/

Продолжаем наш тур по конфам от @peredelanoconfchannel

Сегодня мы пришли, чтобы рассказать вам о господе нашем об ордене «Братства цифрового мусора».

В неформальной беседе при свечах (потому что электричество — это дорого) Магитр братства Нарек Меликсетян обсудит с пришедшими проблемы цифрового мусора, методы его утилизации, способы сокрытия цифрового следа и оптимизацию управления данными.
Также магистр проведет: посвящение в братство, дискуссию о диджитал-чистоте и коллективную визуализацию будущего свободного от цифровых отходов. Приходите, сестры и братья. Мир вам🕊

Страница конфы | Регистрация | TimePad | Другие способы оплаты
_______________________

Наши чаты | Разместить вакансию | Найти работу (сообщество) | Рефералы | Стартапы

На днях проект Искра от @piece_of_gera, который помогает релокантам, подвергся массовой атаке от недоброжелателей. Даже непонятно, с какой стороны эти недоброжелатели пришли.

В принципе, в рамках нашего разговора, это не так важно. Важно, что в результате проект был завален десятками тысяч спам-заявок, которые полностью перекрыли реальные просьбы людей о помощи. Теперь команде проекта приходится всё это разгребать, усиливать защиту, обновлять сервисы и базы данных. И всё это на волонтёрских началах, так как проект некоммерческий и существует на пожертвования. Благо, нашлись ребята, которые вызвались помочь (да, я тоже 😌) и прибрать этот ужас.

раз: https://t.me/piece_of_gera/1267
два: https://t.me/piece_of_gera/1282

Вообще, это интересный случай цифрового мусора (triggered), о котором я ещё не писал и не размышлял. Хотя это большая и важная тема — спам и DDOS-атаки, которые влияют намного болезненнее на систему, чем просто накопившиеся неактуальные файлы. Так что будем разбираться и наблюдать, и больше уделять внимания этой проблеме.

Возвращаемся из застоя.
Долгожданная (мной) запись выступления на конференции Peredelanoconf в Белграде по теме «Как утилизировать цифровой мусор?»

https://youtu.be/mzPg7uBanZg

Не хочу превращать канал в политический или около-, но сейчас уже речь о площадке, где мы все обитаем, раз уж вы читаете это сообщение.
Так что #ДуровСломайСтену

Notion уходит из России и закроет доступ пользователям с 9 сентября, отключив рабочие пространства и прекратив платные подписки из-за новых санкций введённых правительством США.

До 8 сентября пользователи могут экспортировать свои данные в форматах HTML, Markdown или CSV, следуя инструкции. Обязательно сделайте это, если у вас там есть важные заметки.

Ранее платформа Miro также объявила о прекращении работы в России и Беларуси с 12 сентября, но позже решила продолжить обслуживать бесплатных клиентов.

• https://www.notion.so/help/export-your-content
• https://www.notion.so/help/restrictions-for-customers-based-in-russia

Шикарная документалка про Аарона Шварца от ребят с канала "Мы обречены". Очень интересный и вдохновляющий фильм о необычном и гениальном парне, изменившем интернет. В фильме рассказывается о том, как Аарон боролся за свободный доступ к информации, его работе над проектами, связанными с открытым ПО, и его влиянии на развитие интернета.

Рекомендую к просмотру!
https://youtu.be/h5GXJd7ALkk

Ещё есть отличный документальный фильм «The Internet's Own Boy», в котором близкие Аарона рассказывают о его жизни, непростом пути и загадочной смерти. Этот фильм является важным источником информации об Аароне Шварце и его вкладе в развитие интернета, который мы все сейчас пожинаем.

Хотя сегодня кажется, что свободный интернет уходит всё больше в прошлое, я уверен, что мы всё ещё можем вернуть себе свободу открытый доступ к информации, за что так боролся Аарон.

#рекомендую

Как скомпилировали самый первый компилятор?

Действительно, компилятор — это программа, которая переводит инструкции на языке программирования, написанные людьми, в команды, понятные компьютерам. И компилятор, как и любую другую программу, нужно сначала написать, а затем запустить.

Короткий ответ

Его написали вручную сразу на машинном коде.

Длинный ответ

В первобытные времена, когда не существовало Python, ChatGPT и даже ассемблера, программы создавались в машинном коде, и записывались на перфокарты. Это требовало колоссального мастерства и внимания. Кстати, тогда же появилось понятие "баг" (bug - жук в переводе с английского). Согласно легенде, первый "баг" действительно был найден в виде насекомого, забравшегося в компьютер и нарушившего его работу. Так, это случайное событие дало название дефектам, которые и сегодня мы каждый день усердно фиксим.

Далее, чтобы облегчить написание программ, появился ассемблер, заменив сложные двоичные инструкции на мнемоники. Он стал первым шагом на пути к упрощению программирования. Хотя ассемблер и ускорил процесс разработки, он всё ещё оставался сложным для массового использования.

Разработчики поняли, что нужно сделать программирование более доступным. Так появились языки высокого уровня, такие как Fortran и COBOL. Эти языки позволяли описывать программы на более понятном языке и стали настоящим прорывом с появлением языка C в 1970-х годах. C обеспечивал гибкость и мощь, позволяя создавать как системные утилиты, так и сложные приложения.

Так как программное обеспечение становилось всё более сложным, возросла необходимость в новом подходе, и появление C++ стало ответом. Этот язык добавил принцип объектно-ориентированного программирования, что значительно упростило создание масштабируемых и надёжных решений. C++ открыл дорогу для современной разработки сложных программ, а также дал больше возможностей выстрелить себе в ногу, за что мы его и любим.

И дальше как грибы после дождя стали появляться новые более высокоуровневые языки, как Java, Python, JavaScript, Go и даже Perl. И это развитие не останавливается. Вполне возможно, что в будущем мы снова вернёмся к написанию программ сразу на машинном коде. Точнее машины будут писать код сразу на машинном коде, а мы будем только приказывать, пока они нас не завоюют и мы не поменяемся ролями. Но это уже совсем другая история.

#база

Отличное видео с дельными советами. Рекомендую ознакомиться, всем, кто как я я погряз в погоне за дешевыми эндорфинами в соцсетях.

https://youtu.be/pWV24usnpNY

P.S.: Там в описании что-то про какой-то курс. Про это ничего не знаю, мне именно видео понравилось, там про курсы ни слова.

#рекомендую