Функция для фиксации случайных начальных значений (seed) во всех основных библиотеках, которые используются в машинном обучении

import os
import random
import numpy as np
import torch

def seed_all(seed: int = 42):
    os.environ["PYTHONHASHSEED"] = str(seed)
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False
    torch.use_deterministic_algorithms(True)
    torch.multiprocessing.set_start_method("fork", force=True)

Максимально "грязное" решение для достижения детерминированных результатов при обучении моделек. Функция ставит начальные сиды у всех генераторов и задаёт детерминированное поведение бекэнда. В большинстве случаев все строчки не нужны, достаточно только:

random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)

Более серьёзное решение, например для RL алгоритмов, это использование механизма torch.Generator() или jax.random.PRNGKey() для создания детерминированной псевдо-случайности в приложениях со многими потоками.

Pytorch: https://pytorch.org/docs/stable/generated/torch.Generator.html
Jax: https://jax.readthedocs.io/en/latest/jax.random.html

👉 DataFrog | #datascience #pytorch #code

Безопасность LLM и агентских систем (GenAI OWASP)

Если вы работаете над дизайном агентов или систем с использованием LLM, рекомендую обратить внимание на ресурс GenAI OWASP.

Там собрана отличная база знаний по ключевым угрозам для AgenticAI-систем: описываются основные уязвимости, векторы атак и методы защиты. Материалы поданы очень сжато и по делу, читаются быстро.

Например, в последних обновлениях появились важные предупреждения о рисках использования сторонних MCP-серверов.

👉 DataFrog | #datascience

👉 DataFrog | #datascience #meme

Не хотите подключать целый ML-трекер только чтобы давать экспериментам понятные имена вроде eternal-rabbit-123?

Для этой задачи есть минималистичная библиотека hruid. Она делает ровно одно — генерирует уникальные и читаемые идентификаторы по шаблону число-прилагательное-существительное-глагол-наречие.

import hruid

generator = hruid.Generator()
phrase = generator.random()
print(phrase)

11-suspicious-owls-consume-eagerly

Установка: pip install hruid
Репозиторий: https://github.com/nebbles/hruid-python

👉 DataFrog | #datascience #code