Привет всем!👋

Давно не было технического контента, значит настало время это изменить!

Нередко мы слышим от коллег о том, что Pickle зло, но почему?

На странице документации модуля мы видим следующее предупреждение:

Warning: The pickle module is not secure. Only unpickle data you trust.
It is possible to construct malicious pickle data which will execute arbitrary code during unpickling. Never unpickle data that could have come from an untrusted source, or that could have been tampered with.

Consider signing data with hmac if you need to ensure that it has not been tampered with.

Safer serialization formats such as json may be more appropriate if you are processing untrusted data. See Comparison with json.

Сегодня я хотел бы наглядно проговорить почему Pickle сериализация может быть опасна и что такое Pickle Bomb.

Дисклеймер: Я в данном посте подсвечу основные концепты создания бомбы, но явно полностью рабочий код писать не буду, так как данные варианты кода можно легко интерпретировать по статье 273 УК РФ. Данный материал написал лишь с целью предупредить об возможных опасностях.

Итак, думаю, многие, кто это читают хотя бы раз сохраняли артефакты моделей, используя модуль pickle, который выполняет преобразование объектов в байтовые строки (сериализация) и обратно (десериализация).

В целом структура процесса изложена в коде ниже.
Берется какой-то объект, в нашем случае словарь data сериализуется, записывается в файл data.pkl используя метод open() атрибуты записи бинарного файла (wb), после бинарный файл читается (rb), десериализуется и на выходе получаем обратно словарь.

import pickle

data = {"key": "value", "nums": [1, 2, 3]}

# wb = write binary 
with open("data.pkl", "wb") as file: 
    pickle.dump(data, file) 
# rb = read binary
with open("data.pkl", "rb") as file: 
    deserialized = pickle.load(file)

В процессе десериализации и кроется истинное зло. По сути, там происходит вызов метода eval()!

- Что тогда есть такое Pickle Bomb?

Бомба сериализации (Pickle Bomb) это ничто иное, как использование уязвимости десериализации к различным нежелательным запускам кода.

- Какие примеры Pickle Bomb атак популярны?
1️⃣🔤Бомбы по памяти, например сериализация N ГБ мусора bomb = bytearray(N*10**9). Эта штука съест вашу оперативку за считанные секунды.
2️⃣🔤Бомбы с исполняемым кодом. Наверное, самый популярный и опасный тип. О нем и поговорим чуть дальше.

- Чем опасен 2 тип Pickle Bomb?
Неконтролируемостью и, нередко, непредсказуемостью запуска внутренностей.

- Что можно ожидать внутри бомбы?
Самое безобидное - однострочные уязвимости. Например, простой шуточный print(), менее смешное os.system("rm -rf *"), а далее уже полноценные "Троянские кони".

Для особо интересующихся примеры атаки с примером кода, вызывающим print() при десериализации и объяснение почему так описано в отличной статье на Habr [ссылка на оригинал статьи]. Код, собственно, может быть легко преобразован в что-то более серьезное.

-Как обезопасить себя?
1️⃣🔤 Избегать использование pickle и десериализации из неизвестных источников.
Отдавайте предпочтение json для несложных структур.
Как вариант, посмотреть метаданные без десериализации можно с помощью библиотеки pickletools:

import pickletools

with open("data.pkl", "rb") as f:
    pickletools.dis(f) 

2️⃣🔤Если файл из неизвестного источника нужно открыть по-любому, то рекомендуется создание отдельного "тестового" контейнера, где можно попробовать запустить десериализацию.
3️⃣🔤Создание хэш ключей для проверки валидности файла.
Приведу один из вариантов использования подписи из библиотеки hmac.
Логика простая - создание из уже сериализованных данных подписи по формату [длина подписи (4 байта)] + [подпись = hmac.new(key, serialized, hashlib.sha256).digest()] + [сериализованные данные(serialized)].

Требуется создание секретного ключа key, который и гарантирует корректность и "чистоту" pickle.
Проверка сравнивает рассчитанную при сериализации и полученную роспись и при совпадении десериализует данные.

По традиции 🔥, если понравилось!

#ds_лайфхаки