Forwarded from Ruslan Senatorov | Реверс-Инжиниринг Data Science
После того как я совершил революцию в обучающих курсах по машинному обучению на stepik, я решил поделиться этим на самой крупной ML конференции, в которой участвовали специалисты со всей страны.
25 октября 2025года, я со своими студентами школы SENATOROVAI приехал на конференцию по ML и получил там море эмоций и знакомств, делюсь с вами драйвом и атмосферой того дня.
Было много авторов с плакатами SVD (сингулярное разложение), QR и градиентным спуском, с которыми я часами мог обсуждать, ЧТО ЖЕ ПОД КАПОТОМ МЕТОДА fit?
Я с радостью порекомендовал им пройти мои курсы на степик, чтобы прокачаться в математике для ML, они были приятно удивлены такому уникальному формату обучения и впервые встретили такое понятие как реверс инжиниринг математики ML моделей.
Больше всего понравилось, когда я в микрофон спрашивал вопросы по типу: почему затухает градиент, почему модели галлюцинируют, что внутри скрытых слоёв нейроных сетей? И понимаем ли мы как работает чёрная коробка?
В конце мероприятия был банкет, на котором я время не терял, а подходил к каждому столику и спрашивал следующее: Какая математика используется в методе LSQR и причём здесь бидиагонализация Голуба–Кахана в подпространстве Крылова?
Как вы думаете что они мне ответили? - пишите в комментариях.
Ютуб | Школа SENATOROVAI | Live
25 октября 2025года, я со своими студентами школы SENATOROVAI приехал на конференцию по ML и получил там море эмоций и знакомств, делюсь с вами драйвом и атмосферой того дня.
Было много авторов с плакатами SVD (сингулярное разложение), QR и градиентным спуском, с которыми я часами мог обсуждать, ЧТО ЖЕ ПОД КАПОТОМ МЕТОДА fit?
Я с радостью порекомендовал им пройти мои курсы на степик, чтобы прокачаться в математике для ML, они были приятно удивлены такому уникальному формату обучения и впервые встретили такое понятие как реверс инжиниринг математики ML моделей.
Больше всего понравилось, когда я в микрофон спрашивал вопросы по типу: почему затухает градиент, почему модели галлюцинируют, что внутри скрытых слоёв нейроных сетей? И понимаем ли мы как работает чёрная коробка?
В конце мероприятия был банкет, на котором я время не терял, а подходил к каждому столику и спрашивал следующее: Какая математика используется в методе LSQR и причём здесь бидиагонализация Голуба–Кахана в подпространстве Крылова?
Как вы думаете что они мне ответили? - пишите в комментариях.
Ютуб | Школа SENATOROVAI | Live
Forwarded from Ruslan Senatorov | Реверс-Инжиниринг Data Science
Media is too big
VIEW IN TELEGRAM
Теория информации: Энтропия.
Спикер @valkl777
🕔 СОДЕРЖАНИЕ:
00:00:00 Введение в энтропию
00:01:39 Формула энтропии
00:04:27 Пример с монеткой
00:07:46 Пример с кубиком
00:09:32 Условная энтропия
00:12:00 Свойства условной энтропии
00:13:01 Коэффициент Тиля
00:14:01 Крайние значения коэффициента Тиля
00:15:12 Кросс-энтропия в машинном обучении
00:17:23 Расчёт кросс-энтропии
00:19:27 Дивергенция Кульбака-Лейблера
00:20:21 Применение кросс-энтропии в классификации
00:23:49 Формула кросс-энтропии для бинарной классификации
00:25:16 Введение в кросс-энтропию
00:26:25 Пример расчёта кросс-энтропии
00:28:10 Применение кросс-энтропии в PyTorch
00:30:03 Обучение нейросетки на реальных данных
00:31:24 Результаты обучения
00:35:24 Заключение
00:38:11 Вопрос от аудитории
00:39:31 Введение в энтропию
00:40:09 Применение энтропии в теории информации
00:41:08 Рост энтропии
00:41:43 Вопросы и ответы
00:42:30 Решающие деревья и энтропия
00:43:59 Свойства энтропии в решающих деревьях
Ютуб | Школа Data Science | Live
Спикер @valkl777
🕔 СОДЕРЖАНИЕ:
00:00:00 Введение в энтропию
00:01:39 Формула энтропии
00:04:27 Пример с монеткой
00:07:46 Пример с кубиком
00:09:32 Условная энтропия
00:12:00 Свойства условной энтропии
00:13:01 Коэффициент Тиля
00:14:01 Крайние значения коэффициента Тиля
00:15:12 Кросс-энтропия в машинном обучении
00:17:23 Расчёт кросс-энтропии
00:19:27 Дивергенция Кульбака-Лейблера
00:20:21 Применение кросс-энтропии в классификации
00:23:49 Формула кросс-энтропии для бинарной классификации
00:25:16 Введение в кросс-энтропию
00:26:25 Пример расчёта кросс-энтропии
00:28:10 Применение кросс-энтропии в PyTorch
00:30:03 Обучение нейросетки на реальных данных
00:31:24 Результаты обучения
00:35:24 Заключение
00:38:11 Вопрос от аудитории
00:39:31 Введение в энтропию
00:40:09 Применение энтропии в теории информации
00:41:08 Рост энтропии
00:41:43 Вопросы и ответы
00:42:30 Решающие деревья и энтропия
00:43:59 Свойства энтропии в решающих деревьях
Ютуб | Школа Data Science | Live
Forwarded from Ruslan Senatorov | Реверс-Инжиниринг Data Science
Первая в жизни встреча со студентами школы SENATOROVAI ❤️🚀
Незабываемое чувство, когда много лет преподаёшь дистанционно и встречаешься в живую, а потом ещё и ходишь вместе в спортзал, СПАСИБО ЧТО ВЫ ЕСТЬ, ЗА ВЕРУ В МЕНЯ.
Фотограф: Михаил Дмитриев @mr_jpeg
Ютуб | Школа SENATOROVAI | Live
Незабываемое чувство, когда много лет преподаёшь дистанционно и встречаешься в живую, а потом ещё и ходишь вместе в спортзал, СПАСИБО ЧТО ВЫ ЕСТЬ, ЗА ВЕРУ В МЕНЯ.
Фотограф: Михаил Дмитриев @mr_jpeg
Ютуб | Школа SENATOROVAI | Live
Forwarded from Ruslan Senatorov | Реверс-Инжиниринг Data Science
Сходил в ВШЭ и познакомился с легендами KAGGLE и Data Science, проводил лекцию сам маэстро некогда ТОП 1 KAGGLE - Александр Дьяконов, при поддержке Никиты Зелинского.
Лекция была посвящена рассказу про крутые кейсы с соревнований по Kaggle, с разными инсайтами и тюннингом, а в конце была возможность задать вопросы.
Ваш покорный слуга Сенаторов, задал вопросы касательно плотных и разряженных матриц, а вишенкой на торте был вопрос про применение методов подпространства Крылова в Data Science, но самый интересный вопрос который отметил Александ, был поставлен так:
После лекций, в столовой, был приятно удивлен встрече со своими подписчиком.
Хочу поблагодарить за лекцию МАЭСТРО и выразить слова благодарности ВШЭ за крутые ИВЕНТЫ
Кстати, кроме ВШЭ ивенты проводит и площадка Stepik на которой проходит Черная пятница до 3 декабря и многие курсы можно купить со скидками до 50%, подробнее
Ютуб | Школа SENATOROVAI | Live
Лекция была посвящена рассказу про крутые кейсы с соревнований по Kaggle, с разными инсайтами и тюннингом, а в конце была возможность задать вопросы.
Ваш покорный слуга Сенаторов, задал вопросы касательно плотных и разряженных матриц, а вишенкой на торте был вопрос про применение методов подпространства Крылова в Data Science, но самый интересный вопрос который отметил Александ, был поставлен так:
"Люди которые берут топ 3 kaggle это больше математики или всё таки инженеры которые объединяют несколько решений не особо погружаясь в детали".
После лекций, в столовой, был приятно удивлен встрече со своими подписчиком.
Хочу поблагодарить за лекцию МАЭСТРО и выразить слова благодарности ВШЭ за крутые ИВЕНТЫ
Кстати, кроме ВШЭ ивенты проводит и площадка Stepik на которой проходит Черная пятница до 3 декабря и многие курсы можно купить со скидками до 50%, подробнее
Ютуб | Школа SENATOROVAI | Live
Forwarded from Ruslan Senatorov | Реверс-Инжиниринг Data Science
Media is too big
VIEW IN TELEGRAM
#optimization
17.12.2025 Урок #1: Постановка задачи машинного обучения. (Бесплатный групповой урок по Data Science)
00:00:00 Введение в нулевую оптимизацию
00:01:36 Оптимизация нулевого порядка не использует производную.
00:02:36 подбор гиперпараметров модели. Grid Search
00:05:24 Постановка задачи машинного обучения
00:07:17 Датасет — это таблица в Excel или CSV.
00:09:37 Визуализация данных
00:11:47 Понятие корреляции
00:13:27 Выбор модели
00:14:09 Введение в EDA анализ
00:15:18 Применение линейной регрессии
00:18:02 Распределение наблюдений в поле корреляции для оценки взаимосвязи.
00:20:03 Положительная корреляция: увеличение X приводит к увеличению Y.
00:22:27 Формула линейной регрессии
00:25:04 Параметры модели
00:26:51 Понятие признаков и таргета
00:29:02 Классы машинного обучения
00:30:04 Алгоритмы, работающие по таргету, это обучение с учителем.
00:32:02 Алгоритмы обучения без учителя
00:36:42 Визуализация данных
00:37:02 Реверс-инжиниринг модели
00:40:54 Построение графика
00:42:24 Использование формулы вручную
00:42:44 Построение графика и определение точек
00:43:29 Введение понятия y_pred
00:44:49 набор точек y_pred образует линию регрессии.
00:45:49 Введение понятия таргета
00:46:52 Расчёт расстояния между точками
00:48:25 Объяснение использования квадратов
00:52:49 Геометрическое объяснение
00:55:26 Метод наименьших квадратов
00:56:01 Введение в метод наименьших квадратов
00:57:02 Визуализация квадратов
00:58:15 Цель метода наименьших квадратов
00:59:19 Математическое обоснование
01:00:28 Ошибка и коэффициенты
01:02:03 Заключение и анонс следующего урока
Список следующих тем
Плейлист в ютуб
👉Запишись на следующий урок
Революция в ML. От «чёрного ящика» к полному пониманию математики машинного обучения через реверс-инжиниринг ML-модели.Вывод с нуля всех формул + Python
Ютуб | Школа SENATOROVAI | Live
17.12.2025 Урок #1: Постановка задачи машинного обучения. (Бесплатный групповой урок по Data Science)
00:00:00 Введение в нулевую оптимизацию
00:01:36 Оптимизация нулевого порядка не использует производную.
00:02:36 подбор гиперпараметров модели. Grid Search
00:05:24 Постановка задачи машинного обучения
00:07:17 Датасет — это таблица в Excel или CSV.
00:09:37 Визуализация данных
00:11:47 Понятие корреляции
00:13:27 Выбор модели
00:14:09 Введение в EDA анализ
00:15:18 Применение линейной регрессии
00:18:02 Распределение наблюдений в поле корреляции для оценки взаимосвязи.
00:20:03 Положительная корреляция: увеличение X приводит к увеличению Y.
00:22:27 Формула линейной регрессии
00:25:04 Параметры модели
00:26:51 Понятие признаков и таргета
00:29:02 Классы машинного обучения
00:30:04 Алгоритмы, работающие по таргету, это обучение с учителем.
00:32:02 Алгоритмы обучения без учителя
00:36:42 Визуализация данных
00:37:02 Реверс-инжиниринг модели
00:40:54 Построение графика
00:42:24 Использование формулы вручную
00:42:44 Построение графика и определение точек
00:43:29 Введение понятия y_pred
00:44:49 набор точек y_pred образует линию регрессии.
00:45:49 Введение понятия таргета
00:46:52 Расчёт расстояния между точками
00:48:25 Объяснение использования квадратов
00:52:49 Геометрическое объяснение
00:55:26 Метод наименьших квадратов
00:56:01 Введение в метод наименьших квадратов
00:57:02 Визуализация квадратов
00:58:15 Цель метода наименьших квадратов
00:59:19 Математическое обоснование
01:00:28 Ошибка и коэффициенты
01:02:03 Заключение и анонс следующего урока
Список следующих тем
Плейлист в ютуб
👉Запишись на следующий урок
Революция в ML. От «чёрного ящика» к полному пониманию математики машинного обучения через реверс-инжиниринг ML-модели.Вывод с нуля всех формул + Python
Ютуб | Школа SENATOROVAI | Live
Forwarded from Ruslan Senatorov | Реверс-Инжиниринг Data Science
Media is too big
VIEW IN TELEGRAM
#optimization
25.12.2025 Урок #2: Взаимосвязь функции потерь и модели линейной регрессии
(Бесплатный групповой урок по Data Science)
00:03:09 Объяснение функции потерь
00:04:18 Геометрическое представление функции потерь
00:07:12 Свойства функции потерь
00:09:03 Минимизация функции потерь
00:11:44 Переменные и веса модели
00:13:05 Введение в линейную регрессию
00:14:08 Задача минимизации функции потерь
00:15:25 Методы минимизации
00:16:23 Численные методы
00:18:45 Принцип работы градиентного спуска
На первом уроке мы разобрали постановку задачи машинного обучения
Список следующих тем
Плейлист в ютуб
👉Запишись на следующий урок
Ютуб | Школа SENATOROVAI | Live
25.12.2025 Урок #2: Взаимосвязь функции потерь и модели линейной регрессии
(Бесплатный групповой урок по Data Science)
00:03:09 Объяснение функции потерь
00:04:18 Геометрическое представление функции потерь
00:07:12 Свойства функции потерь
00:09:03 Минимизация функции потерь
00:11:44 Переменные и веса модели
00:13:05 Введение в линейную регрессию
00:14:08 Задача минимизации функции потерь
00:15:25 Методы минимизации
00:16:23 Численные методы
00:18:45 Принцип работы градиентного спуска
На первом уроке мы разобрали постановку задачи машинного обучения
Список следующих тем
Плейлист в ютуб
👉Запишись на следующий урок
Ютуб | Школа SENATOROVAI | Live
Forwarded from Ruslan Senatorov | Реверс-Инжиниринг Data Science
Media is too big
VIEW IN TELEGRAM
#optimization
31.12.2025 Урок #3: Техники оптимизации нулевого порядка
(Бесплатный групповой урок по Data Science)
00:00:34 взаимосвязь между функцией потерь и моделью.
00:01:15 Оптимизация нулевого порядка
00:02:13 Параметры градиентного спуска
00:03:12 Гиперпараметры
00:04:35 глобальная и локальная оптимизация
00:07:02 Оптимизация первого порядка
00:08:39 Физический смысл производной
00:09:43 Введение в градиент
00:10:11 Поиск минимума функции
00:12:50 Выбор начальной точки
00:14:39 Настройка гиперпараметров
00:16:28 Начало итераций
00:19:05 Спуск по функции
00:22:18 Задача оптимизации
00:24:21 Оптимизация шага
00:26:01 Анализ алгоритма
00:30:21 Важность правильного подбора альфа
00:32:41 Оптимизация нулевого порядка
00:35:31 Задачи оптимизации в машинном обучении
00:39:22 Глобальные и локальные оптимумы
00:41:09 Функции потерь
00:41:52 Линейная и квадратичная регрессия
00:43:11 Глобальный и локальный минимум
00:44:39 Условия оптимальности нулевого порядка
00:46:39 Функции потерь в нейросетях
00:47:41 Глобальная оптимизация путём сэмплирования
00:51:08 Проклятие размерности
00:54:24 Условная оптимизация
00:55:12 Введение в алгоритм PCA
00:56:20 Уменьшение размерности
00:58:50 Применение PCA
01:00:16 Локальная итеративная оптимизация
01:01:47 Направление спуска
01:03:13 Выбор шага
01:05:20 Случайный поиск
01:08:29 Координатный спуск
01:09:30 Введение в координатный спуск
01:10:32 Принцип координатного спуска
01:11:30 Преимущества координатного спуска
01:12:22 Сравнение алгоритмов
01:13:08 Логика координатного спуска
01:14:35 Эффективность координатного спуска
На втором уроке мы разобрали Взаимосвязь функции потерь и модели линейной регрессии
Список следующих тем
Плейлист в ютуб
👉Запишись на следующий урок
Ютуб | Школа SENATOROVAI | Live
31.12.2025 Урок #3: Техники оптимизации нулевого порядка
(Бесплатный групповой урок по Data Science)
00:00:34 взаимосвязь между функцией потерь и моделью.
00:01:15 Оптимизация нулевого порядка
00:02:13 Параметры градиентного спуска
00:03:12 Гиперпараметры
00:04:35 глобальная и локальная оптимизация
00:07:02 Оптимизация первого порядка
00:08:39 Физический смысл производной
00:09:43 Введение в градиент
00:10:11 Поиск минимума функции
00:12:50 Выбор начальной точки
00:14:39 Настройка гиперпараметров
00:16:28 Начало итераций
00:19:05 Спуск по функции
00:22:18 Задача оптимизации
00:24:21 Оптимизация шага
00:26:01 Анализ алгоритма
00:30:21 Важность правильного подбора альфа
00:32:41 Оптимизация нулевого порядка
00:35:31 Задачи оптимизации в машинном обучении
00:39:22 Глобальные и локальные оптимумы
00:41:09 Функции потерь
00:41:52 Линейная и квадратичная регрессия
00:43:11 Глобальный и локальный минимум
00:44:39 Условия оптимальности нулевого порядка
00:46:39 Функции потерь в нейросетях
00:47:41 Глобальная оптимизация путём сэмплирования
00:51:08 Проклятие размерности
00:54:24 Условная оптимизация
00:55:12 Введение в алгоритм PCA
00:56:20 Уменьшение размерности
00:58:50 Применение PCA
01:00:16 Локальная итеративная оптимизация
01:01:47 Направление спуска
01:03:13 Выбор шага
01:05:20 Случайный поиск
01:08:29 Координатный спуск
01:09:30 Введение в координатный спуск
01:10:32 Принцип координатного спуска
01:11:30 Преимущества координатного спуска
01:12:22 Сравнение алгоритмов
01:13:08 Логика координатного спуска
01:14:35 Эффективность координатного спуска
На втором уроке мы разобрали Взаимосвязь функции потерь и модели линейной регрессии
Список следующих тем
Плейлист в ютуб
👉Запишись на следующий урок
Ютуб | Школа SENATOROVAI | Live