❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146
🔠 Что такое Лассо-регресси Тибширани ? (Часть_3)
Выбор признаков: может использоваться для автоматического выбора наиболее важных признаков, исключая незначимые признаки из модели. Это особенно полезно при работе с большим количеством признаков или признаков с высокой корреляцией.
Сокращение размерности: позволяет сократить размерность данных, оставляя только наиболее информативные признаки. Это может улучшить производительность модели, снизить переобучение и упростить интерпретацию результатов.
Регуляризация: Добавление штрафа на сумму абсолютных значений коэффициентов помогает контролировать сложность модели и предотвращает переобучение, особенно при наличии мультиколлинеарности между признаками.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠 Что такое Лассо-регресси Тибширани ? (Часть_3)
Выбор признаков: может использоваться для автоматического выбора наиболее важных признаков, исключая незначимые признаки из модели. Это особенно полезно при работе с большим количеством признаков или признаков с высокой корреляцией.
Сокращение размерности: позволяет сократить размерность данных, оставляя только наиболее информативные признаки. Это может улучшить производительность модели, снизить переобучение и упростить интерпретацию результатов.
Регуляризация: Добавление штрафа на сумму абсолютных значений коэффициентов помогает контролировать сложность модели и предотвращает переобучение, особенно при наличии мультиколлинеарности между признаками.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
Please open Telegram to view this post
VIEW IN TELEGRAM
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146
🔠 Что такое Лассо-регресси Тибширани ? (Часть_4)
Выбор гиперпараметра: требует выбора гиперпараметра - коэффициента регуляризации, который определяет силу штрафа на коэффициенты. Выбор правильного значения гиперпараметра может быть нетривиальной задачей и требует кросс-валидации или других методов выбора.
Отбор признаков: может быть слишком суровой в отборе признаков и исключать некоторые полезные переменные, особенно если есть корреляция между признаками.
Неустойчивость к корреляции: При наличии сильной корреляции между признаками лассо-регрессия Тибширани может быть неустойчива и выбрать только один из коррелирующих признаков, в то время как другие признаки считаются незначимыми.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠 Что такое Лассо-регресси Тибширани ? (Часть_4)
Выбор гиперпараметра: требует выбора гиперпараметра - коэффициента регуляризации, который определяет силу штрафа на коэффициенты. Выбор правильного значения гиперпараметра может быть нетривиальной задачей и требует кросс-валидации или других методов выбора.
Отбор признаков: может быть слишком суровой в отборе признаков и исключать некоторые полезные переменные, особенно если есть корреляция между признаками.
Неустойчивость к корреляции: При наличии сильной корреляции между признаками лассо-регрессия Тибширани может быть неустойчива и выбрать только один из коррелирующих признаков, в то время как другие признаки считаются незначимыми.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
Please open Telegram to view this post
VIEW IN TELEGRAM
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_221
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_1)
Partial Dependence Plots (PDP) представляют собой графические инструменты, позволяющие визуализировать влияние одного или двух признаков на предсказания модели машинного обучения, игнорируя влияние остальных признаков. Это делает PDP мощным инструментом для интерпретации моделей, особенно в контексте линейной регрессии, где они всегда показывают линейные отношения. PDP также могут быть использованы для классификации, отображая вероятности для определенного класса при различных значениях признаков.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_1)
Partial Dependence Plots (PDP) представляют собой графические инструменты, позволяющие визуализировать влияние одного или двух признаков на предсказания модели машинного обучения, игнорируя влияние остальных признаков. Это делает PDP мощным инструментом для интерпретации моделей, особенно в контексте линейной регрессии, где они всегда показывают линейные отношения. PDP также могут быть использованы для классификации, отображая вероятности для определенного класса при различных значениях признаков.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_221
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_2)
Основные преимущества PDP включают:
- Интуитивность: PDP легко понимаются и позволяют быстро интерпретировать влияние признаков на предсказания модели.
- Глобальный подход: PDP учитывают все экземпляры данных, предоставляя глобальное представление о взаимосвязи признаков с предсказаниями.
- Каузальная интерпретация: PDP позволяют анализировать каузальные отношения между признаками и предсказаниями, хотя это не всегда применимо к реальному миру.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_2)
Основные преимущества PDP включают:
- Интуитивность: PDP легко понимаются и позволяют быстро интерпретировать влияние признаков на предсказания модели.
- Глобальный подход: PDP учитывают все экземпляры данных, предоставляя глобальное представление о взаимосвязи признаков с предсказаниями.
- Каузальная интерпретация: PDP позволяют анализировать каузальные отношения между признаками и предсказаниями, хотя это не всегда применимо к реальному миру.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_221
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_3)
Однако, есть и недостатки:
- Ограничение на количество признаков: В реальности, максимальное количество признаков в PDP обычно ограничено двумя из-за ограничений в двухмерном представлении.
- Пропущенное распределение признаков: Некоторые PDP не показывают распределение признаков, что может ввести в заблуждение, особенно в областях с малой частотой данных.
- Предположение об независимости: PDP предполагают, что признаки, для которых вычисляется частичная зависимость, не коррелируют с другими признаками. Это может привести к нереалистичным интерпретациям, когда признаки коррелируют.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠 Что вы знаете про Partial Dependence Plots (PDP) ? (Часть_3)
Однако, есть и недостатки:
- Ограничение на количество признаков: В реальности, максимальное количество признаков в PDP обычно ограничено двумя из-за ограничений в двухмерном представлении.
- Пропущенное распределение признаков: Некоторые PDP не показывают распределение признаков, что может ввести в заблуждение, особенно в областях с малой частотой данных.
- Предположение об независимости: PDP предполагают, что признаки, для которых вычисляется частичная зависимость, не коррелируют с другими признаками. Это может привести к нереалистичным интерпретациям, когда признаки коррелируют.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_222
🔠Какие есть аналоги Partial Dependence Plots (PDP) ?
1. Accumulated Local Effects (ALE) Plots:
- Похожи на PDPs, но более устойчивы к смещению, вызванному распределением входных данных.
- ALE оценивают локальное влияние переменной, а не глобальное влияние, как в PDPs.
2. Shapley Additive Explanations (SHAP):
- Метод, основанный на теории кооперативных игр, для объяснения прогнозов индивидуальных образцов.
- Вычисляет вклад каждой входной переменной в прогноз для каждого наблюдения.
- Предоставляет как локальные, так и глобальные объяснения модели.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠Какие есть аналоги Partial Dependence Plots (PDP) ?
1. Accumulated Local Effects (ALE) Plots:
- Похожи на PDPs, но более устойчивы к смещению, вызванному распределением входных данных.
- ALE оценивают локальное влияние переменной, а не глобальное влияние, как в PDPs.
2. Shapley Additive Explanations (SHAP):
- Метод, основанный на теории кооперативных игр, для объяснения прогнозов индивидуальных образцов.
- Вычисляет вклад каждой входной переменной в прогноз для каждого наблюдения.
- Предоставляет как локальные, так и глобальные объяснения модели.
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_222
🔠Какие есть аналоги Partial Dependence Plots (PDP) ? (Часть_2)
3. Individual Conditional Expectation (ICE) plots: Эти графики также используются для визуализации и анализа взаимодействия целевой переменной и набора входных признаков. Однако, в отличие от PDP, ICE позволяет наблюдать за изменением предсказания для конкретных значений признаков, сохраняя остальные признаки на их средних значениях.
4. ICE Curves: Подобно ICE plots, ICE Curves также позволяют наблюдать за изменением предсказания модели при изменении значений отдельных признаков, но в виде кривых, что может быть более удобно для визуализации изменений на разных уровнях признака
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
🔠Какие есть аналоги Partial Dependence Plots (PDP) ? (Часть_2)
3. Individual Conditional Expectation (ICE) plots: Эти графики также используются для визуализации и анализа взаимодействия целевой переменной и набора входных признаков. Однако, в отличие от PDP, ICE позволяет наблюдать за изменением предсказания для конкретных значений признаков, сохраняя остальные признаки на их средних значениях.
4. ICE Curves: Подобно ICE plots, ICE Curves также позволяют наблюдать за изменением предсказания модели при изменении значений отдельных признаков, но в виде кривых, что может быть более удобно для визуализации изменений на разных уровнях признака
#Partial_Dependence_Plots #Machine_Learning #Model_Interpretation #Linear_Regression #Classification #Feature_Influence #Predictive_Modeling #Data_Visualization
Дистилляция - процесс передачи знаний от одной модели к другой.
Дистилляция используется для уменьшения размера и сложности модели, сохраняя при этом её точность.
Дистилляция применяется для улучшения генеративных моделей, таких как Stable Diffusion.
Дистилляция позволяет создавать более компактные и эффективные модели, сохраняя при этом качество генерации.
Дистилляция может быть выполнена через обучение на наборе переноса или через использование средневзвешенного значения целевых функций.
В байесовском выводе дистилляция основана на оптимизации параметров модели ученика с использованием вариационного вывода.
Дистилляция в генеративных моделях изображений направлена на оптимизацию моделей для конкретных задач и снижение сложности.
Stable Diffusion использует ансамбль моделей для генерации изображений, что требует дистилляции для улучшения производительности.
Дистилляция может оптимизировать нагрузку на ресурсы и уменьшить время генерации.
Использование токенизации запросов и детектора бинарных векторов признаков может улучшить производительность.
Дистилляция позволила уменьшить размер модели и время генерации, сохранив качество генерации.
https://habr.com/ru/articles/755644/
#articles #analysis #model #distilation
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Оптимизация генеративной модели на основе дистилляции
Одним из важнейших направлений работы над моделями машинного обучения является их оптимизация. Оптимизированная модель работает быстрее, требует меньше вычислительных ресурсов, и как следствие —...
БЯМ (Big Language Model) продемонстрировали способность писать в стиле известных авторов.
Эксперимент New York Times показал, что БЯМ может создавать тексты, имитирующие стиль Кертис Ситтенфелд.
Первый фрагмент написан в стиле Кертис Ситтенфелд, второй - в стиле БЯМ.
БЯМ не всегда справляется с управлением речевыми оборотами и грамматикой.
В конце второго фрагмента БЯМ демонстрирует грамматические ошибки и отсутствие завершения.
БЯМ часто использует списки и маркированные списки, что является их характерной чертой.
ИИ склонен к стереотипам и расплывчатым высказываниям, а также к использованию типичных имен и эпитетов.
Предложения БЯМ часто бывают длинными и грамматически правильными, но предсказуемыми.
Чтобы скрыть использование БЯМ, необходимо удалить характерные слова и словосочетания.
Необходимо редактировать текст, чтобы удалить "воду" и оставить только удачные фрагменты.
В результате получится текст, неотличимый от написанного человеком, но требующий значительных усилий.
БЯМ подходят для выполнения простых задач, таких как перевод терминов или ответы на вопросы, которые не требуют глубокого понимания.
Однако не следует доверять им написание длинных текстов или статей.
Рекомендуется использовать БЯМ для получения ответов на конкретные вопросы, требующие специальных знаний.
https://habr.com/ru/articles/840066/
#articles #analysis #model #nlp #redactor
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
3 самых очевидных способа вручную обнаружить текст от большой языковой модели
На написание и публикацию этого текста меня побудила необходимость быстро объяснить, как определять текст от больших языковых моделей (БЯМ). Важно, что речь идёт только про выявление очевидных...
Вероятность описывает возможность наступления события.
Распределение вероятностей описывает, как часто происходят события с определенными характеристиками.
Биномиальное распределение описывает количество успехов в серии испытаний с известной вероятностью успеха.
Геометрическое распределение описывает количество неудач до первого успеха.
Отрицательное биномиальное распределение описывает количество неудач до определенного числа успехов.
Экспоненциальное распределение описывает время до наступления события.
Распределение Вейбула описывает время до увеличения интенсивности отказов.
Нормальное распределение описывает сумму независимых случайных величин.
Логнормальное распределение описывает логарифм суммы независимых случайных величин.
Распределение Стьюдента используется для проверки гипотез о среднем нормальном распределении.
Распределение хи-квадрат используется для проверки гипотез о сумме квадратов нормально распределенных величин.
Гамма-распределение обобщает экспоненциальное и хи-квадрат распределения.
Бета-распределение является сопряженным априорным распределением для многих других распределений.
https://habr.com/ru/articles/331060/
#articles #analysis #model #nlp #redactor
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Типичные распределения вероятности: шпаргалка data scientist-а
У data scientist-ов сотни распределений вероятности на любой вкус. С чего начать? Data science, чем бы она там не была – та ещё штука. От какого-нибудь гуру на ваших сходках или хакатонах можно...