Выжимаем из Random Forest максимум: увеличиваем полноту при 100% точности
Была классическая задача: по табличным данным предсказать некое событие — случится или нет. И как бы я к этим данным ни подбирался, с какого ракурса ни смотрел, результат, увы, не впечатлял. Данных было мало, а то, что было, обладало слабой предсказательной силой. Хотя казалось, что что-то вытащить все-таки можно.И вот, просматривая отдельные деревья решений, меня осенило — попробую-ка я обрезать все деревья, используемые в Random Forest, до одной, но самой эффективной ветки. И — о чудо! — заметно выросла как точность (precision), так и полнота (recall). И особенно полнота выросла на высоких уровнях точности.Проверил этот способ на других задачах. И везде при 100% точности заметно выростала полнота. Что же я сделал? Читать далее

#random_forest #machine_learning | @habr_ai

Бэггинг и случайный лес. Ключевые особенности и реализация с нуля на Python
Далее пойдёт речь про бэггинг и мой самый любимый алгоритм — случайный лес. Не смотря на то, что это одни из самых первых алгоритмов среди семейства ансамблей, они до сих пор пользуются большой популярностью за счёт своей простоты и эффективности, зачастую не уступая бустингам в плане точности. О том, что это такое и как работает, далее в статье. Читать далее

#бэггинг #вставка #случайный_лес #bagging #random_forest #реализация_с_нуля #python #алгоритмы_машинного_обучения #data_science #машинное_обучение | @habr_ai

Классификация экзопланет (часть II построение моделей)
Это вторая и заключительная часть статьи, в которой мы рассматриваем задачу классификации экзопланет. Если предыдущая статья была больше про предобработку данных, то здесь мы будем строить модели, отбирать лучшие и экспериментировать. Читать далее

#машинное_обучение #градиентный_бустинг #нейронные_сети #random_forest #catboost #xgboost #tensorflow #Классификация_Экзопланет | @habr_ai

Мы так и не смогли защитить свою модель машинного обучения от состязательных атак. Пока

Наша команда разработчиков Исследовательского центра доверенного искусственного интеллекта ИСП РАН первые два года занималась построением сетевой системы обнаружения вторжений, основанной на применении методов машинного обучения. А в последний год мы сменили щит на меч и начали атаковать состязательными атаками (adversarial attacks) синтезированную нами же модель.

Задача была простой: оценить устойчивость модели к состязательным атакам. Спойлер: модель не устойчива, а как это исправить — мы пока не знаем. Подробности ниже. Читать далее

#machine_learning #система_обнаружения_вторжений #random_forest #artificial_intelligence #network_security #ids #scikit_learn #обучение_с_учителем | @habr_ai

Бутстрап и доверительные интервалы: от теории к практике на Python

Привет!

Бутстрап — мощный статистический метод, позволяющий оценить распределение выборочных статистик. В Data Science бутстрап применяется в большом спектре задач.

В статье я постараюсь понятным языком рассказать про особенности, ограничения и сценарии применения бутстрапа, а также я познакомлю вас с различными схемами бутстрапа: Эфронов интервал (простой, но дает смещенную оценку), интервал Холла (несмещенный за счет центрирования) и t-процентильный интервал (несмещенный, шире других, лучшая асимптотика).

Более того, в статье мы реализуем функцию бутстрапа на Python и проведем небольшой эксперимент с помощью разных схем бутстрапирования.

Читать далее

#бутстрап #доверительный_интервал #статистика #python #ансамблирование_моделей #random_forest #bagging #аналитика #анализ_данных | @habr_ai

[Перевод] Анализ и моделирование футбольных результатов английской Премьер-лиги с использованием методов машинного обучения

Рассмотрим статью 2018 года наших индийских коллег Rahul Baboota и Harleen Kaur «Predictive analysis and modelling football results using machine learning approach for English Premier League». Особое внимание советую уделить отбору признаков (feature engineering) — возможно, у вас появятся собственные новые идеи в этой области. Также рекомендую сравнить результаты различных моделей (naive Bayes, SVM, Random Forest, XGBoost) с вашими собственными. Читать далее

#машинное_обучение #xgboost #random_forest #svm #naive_bayes #feature_engineering #отбор_признаков #градиентный_бустинг #случайный_лес #классификация | @habr_ai

Модели машинного обучения: что могут спросить на интервью

Привет, Хабр!

Сегодня рассмотрим некоторые вопросы, которые могут попасться на собеседовании на ML позиции.

Читать далее

#ml #машинное_обучение #собеседование #собеседование_вопросы #knn #random_forest | @habr_ai

Главное по ML/DL, часть 2: Вопрос → Краткий ответ → Разбор → Пример кода. SVD/PCA. Bias-variance. Деревья. Бустинг

У каждого наступает момент, когда нужно быстро освежить в памяти огромный пласт информации по всему ML. Причины разные - подготовка к собеседованию, начало преподавания или просто найти вдохновение.

Времени мало, объема много, цели амбициозные - нужно научиться легко и быстро объяснять, но так же не лишая полноты!

💻 Обращу внимание, самый действенный способ разобраться и запомнить - это своими руками поисследовать задачу! Это самое важное, оно происходит в секции с кодом. Поэтому попробуйте сами решить предложенную задачку и придумать свою!

Будет здорово получить ваши задачи и в следующих выпусках разобрать!

Мы продолжаем. Обязательно испытайте себя в предыдущей [1] части! Взглянуть на старое под новым углом

#machine_learning #ds #python #scikit_learn #svd #pca #bias_variance_trade_off #random_forest #gradient_boosting #алгоритмы | @habr_ai