(НЕ) парадокс Дней Рождения

Факт: если дана группа из 23 или более человек, то вероятность того, что хотя бы у двух из них дни рождения совпадут, превышает 50%. Доказываем вместе, показываем картинки, и даже рассказываем, как этот парадокс применяется хакерами.

То есть получается, что в комментариях с вероятностью почти 100% найдутся те, у кого День Рождения, как и у нас, сегодня?

😻 #math

Разбор задачи про степень матрицы

В этот раз очень многие из вас справилить с задачей отлично. Это круто, так как подобные задачи встречаются очень часто и решаются одинакого: в степенях матриц из задачи обычно присутствует период или какая прогрессия, или и то, и то – как в нашем случае. Главное – распознать ее и правильно описать. Сначала вспоминаем, как умножать матрицы, а потом разбираемся с закономерностью.

😻 #задачи

Gradient Checkpointing: сокращение использования памяти при обучении нейросетей на 60%

Нейронные сети в основном используют память двумя способами:

• Сохранение весов модели.
• Вычисление и сохранения активаций всех слоев при прямом проходе + вычисление градиентов на каждом слое при обратном проходе

То есть чем больше сеть, тем сложнее впихнуть ее в память. Но есть способ это оптимизировать: Gradient Checkpointing (вот он в PyTorch). Рассказываем, что это такое.

😻 #NN