Что такое детерминизм и как с ним бороться?

Привет, Хабр!

Много лет можно наблюдать один и тот же ритуал: человек берёт фиксированный seed, торжественно записывает его в три места, запускает обучение и искренне ожидает, что всё будет повторяться до бита. А потом accuracy скачет на третьем знаке, лосс уплывает и приходит вопрос: «Почему не детерминируется?» А потому что детерминизм в ML это не один флажок. Это сумма десятка мелких факторов, от выбора алгоритма в cuDNN до порядка файлов в каталоге. Читать далее

#python #ml #детерминизм_в_ml #повторяемость_экспериментов #reproducibility #pytorch_deterministic_mode #cudnn_детерминизм #random_seed #фиксированный_seed #pythonhashseed | @habr_ai