Привет всем!👋

Давно не было технического контента, значит настало время это изменить!

Нередко мы слышим от коллег о том, что Pickle зло, но почему?

На странице документации модуля мы видим следующее предупреждение:

Warning: The pickle module is not secure. Only unpickle data you trust.
It is possible to construct malicious pickle data which will execute arbitrary code during unpickling. Never unpickle data that could have come from an untrusted source, or that could have been tampered with.

Consider signing data with hmac if you need to ensure that it has not been tampered with.

Safer serialization formats such as json may be more appropriate if you are processing untrusted data. See Comparison with json.

Сегодня я хотел бы наглядно проговорить почему Pickle сериализация может быть опасна и что такое Pickle Bomb.

Дисклеймер: Я в данном посте подсвечу основные концепты создания бомбы, но явно полностью рабочий код писать не буду, так как данные варианты кода можно легко интерпретировать по статье 273 УК РФ. Данный материал написал лишь с целью предупредить об возможных опасностях.

Итак, думаю, многие, кто это читают хотя бы раз сохраняли артефакты моделей, используя модуль pickle, который выполняет преобразование объектов в байтовые строки (сериализация) и обратно (десериализация).

В целом структура процесса изложена в коде ниже.
Берется какой-то объект, в нашем случае словарь data сериализуется, записывается в файл data.pkl используя метод open() атрибуты записи бинарного файла (wb), после бинарный файл читается (rb), десериализуется и на выходе получаем обратно словарь.

import pickle

data = {"key": "value", "nums": [1, 2, 3]}

# wb = write binary 
with open("data.pkl", "wb") as file: 
    pickle.dump(data, file) 
# rb = read binary
with open("data.pkl", "rb") as file: 
    deserialized = pickle.load(file)

В процессе десериализации и кроется истинное зло. По сути, там происходит вызов метода eval()!

- Что тогда есть такое Pickle Bomb?

Бомба сериализации (Pickle Bomb) это ничто иное, как использование уязвимости десериализации к различным нежелательным запускам кода.

- Какие примеры Pickle Bomb атак популярны?
1️⃣🔤Бомбы по памяти, например сериализация N ГБ мусора bomb = bytearray(N*10**9). Эта штука съест вашу оперативку за считанные секунды.
2️⃣🔤Бомбы с исполняемым кодом. Наверное, самый популярный и опасный тип. О нем и поговорим чуть дальше.

- Чем опасен 2 тип Pickle Bomb?
Неконтролируемостью и, нередко, непредсказуемостью запуска внутренностей.

- Что можно ожидать внутри бомбы?
Самое безобидное - однострочные уязвимости. Например, простой шуточный print(), менее смешное os.system("rm -rf *"), а далее уже полноценные "Троянские кони".

Для особо интересующихся примеры атаки с примером кода, вызывающим print() при десериализации и объяснение почему так описано в отличной статье на Habr [ссылка на оригинал статьи]. Код, собственно, может быть легко преобразован в что-то более серьезное.

-Как обезопасить себя?
1️⃣🔤 Избегать использование pickle и десериализации из неизвестных источников.
Отдавайте предпочтение json для несложных структур.
Как вариант, посмотреть метаданные без десериализации можно с помощью библиотеки pickletools:

import pickletools

with open("data.pkl", "rb") as f:
    pickletools.dis(f) 

2️⃣🔤Если файл из неизвестного источника нужно открыть по-любому, то рекомендуется создание отдельного "тестового" контейнера, где можно попробовать запустить десериализацию.
3️⃣🔤Создание хэш ключей для проверки валидности файла.
Приведу один из вариантов использования подписи из библиотеки hmac.
Логика простая - создание из уже сериализованных данных подписи по формату [длина подписи (4 байта)] + [подпись = hmac.new(key, serialized, hashlib.sha256).digest()] + [сериализованные данные(serialized)].

Требуется создание секретного ключа key, который и гарантирует корректность и "чистоту" pickle.
Проверка сравнивает рассчитанную при сериализации и полученную роспись и при совпадении десериализует данные.

По традиции 🔥, если понравилось!

#ds_лайфхаки

UX пользователей: кейсы крупных компаний

В своем Линке я выкладывал пост про сайт, где можно посмотреть на различные кейсы крупных игроков с точки зрения UX в мультяшном формате.

🔗 Так вот, ссылочка тут

Работая продуктовым аналитиком, изучаешь пользовательские пути, то, как они взаимодействуют с приложением, что на каждом этапе может нравится / не нравится.

Интересные кейсы

🟣 Audible: Build seamless purchase experiences
Рассматривается, как Audible улучшает UX при оформлении подписки, минимизируя фрикции и повышая конверсию.

🍔 McDonald’s: The Psychology Behind McDonald’s $2 Billion Self-Serve Kiosks
Анализируется, как дизайн киосков влияет на поведение клиентов и способствует увеличению продаж.

🟢 Grammarly: How to Craft Onboarding Surveys Users Love: 5 Do’s and Don’ts
Показано, как правильно сформулированные вопросы при регистрации повышают вовлеченность пользователей.

🎵 Spotify Wrapped: Spotify Wrapped: 6 psychology principles that make it go viral every year.
Разбирается, какие психологические принципы делают ежегодный отчет Spotify таким популярным и ожидаемым.

🟡 Temu: The psychology of Temu’s casino-like shopping UX
Исследуется, как элементы геймификации и случайных вознаграждений стимулируют покупки.

Всего представлено 64 кейса, которые можно посмотреть и рассмотреть с уклоном в психологию пользователей

Также выделены 106 психологических приемов, которыми пользуются топовые компании

Годный ресурс, советую каждому ознакомиться с ним.

Если пост понравился, поставьте 🔥, пишите комментарии, нужно ли делать подборку по таким ресурсам!