❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_139 (часть_1)
🔠 В вашем датафрейме есть скоррелированные фичи, что это и как от них избавится ?
Ответ:
Если в вашем датафрейме есть скоррелированные фичи, это означает, что некоторые признаки в наборе данных сильно связаны друг с другом.
1. Корреляционный анализ: Первым шагом можно провести корреляционный анализ, чтобы определить степень корреляции между парами фичей. Для этого можно использовать коэффициент корреляции, такой как коэффициент Пирсона или Спирмена.
2. Удаление одной из скоррелированных фичей: Если две или более фичи сильно коррелированы, можно удалить одну из них. Выбор фичи для удаления может быть основан на предметных знаниях или на дополнительном анализе влияния каждой фичи на модель. При этом следует учитывать, что удаление фичи может привести к потере информации.
#correlatedfeatures #featurecorrelation #dimensionalityreduction #featureselection #regularization
🔠 В вашем датафрейме есть скоррелированные фичи, что это и как от них избавится ?
Ответ:
Если в вашем датафрейме есть скоррелированные фичи, это означает, что некоторые признаки в наборе данных сильно связаны друг с другом.
1. Корреляционный анализ: Первым шагом можно провести корреляционный анализ, чтобы определить степень корреляции между парами фичей. Для этого можно использовать коэффициент корреляции, такой как коэффициент Пирсона или Спирмена.
2. Удаление одной из скоррелированных фичей: Если две или более фичи сильно коррелированы, можно удалить одну из них. Выбор фичи для удаления может быть основан на предметных знаниях или на дополнительном анализе влияния каждой фичи на модель. При этом следует учитывать, что удаление фичи может привести к потере информации.
#correlatedfeatures #featurecorrelation #dimensionalityreduction #featureselection #regularization
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_139 (часть_2)
🔠 В вашем датафрейме есть скоррелированные фичи, что это и как от них избавится ?
Понижение размерности: С помощью методов понижения размерности, таких как метод главных компонент (Principal Component Analysis, PCA) или факторный анализ, можно создать новые независимые факторы, которые объясняют большую часть дисперсии в данных. Новые факторы могут быть линейными комбинациями исходных фичей и могут использоваться вместо исходных фичей в моделировании.
Регуляризация: При использовании моделей с регуляризацией, таких как регрессия Ridge или Lasso, скоррелированные фичи могут быть автоматически штрафованы, что позволяет уменьшить их влияние на модель. Регуляризация может быть полезной, особенно когда нельзя точно определить, какую фичу следует удалить или какие комбинации фичей использовать.
#correlatedfeatures #featurecorrelation #dimensionalityreduction #featureselection #regularization
🔠 В вашем датафрейме есть скоррелированные фичи, что это и как от них избавится ?
Понижение размерности: С помощью методов понижения размерности, таких как метод главных компонент (Principal Component Analysis, PCA) или факторный анализ, можно создать новые независимые факторы, которые объясняют большую часть дисперсии в данных. Новые факторы могут быть линейными комбинациями исходных фичей и могут использоваться вместо исходных фичей в моделировании.
Регуляризация: При использовании моделей с регуляризацией, таких как регрессия Ridge или Lasso, скоррелированные фичи могут быть автоматически штрафованы, что позволяет уменьшить их влияние на модель. Регуляризация может быть полезной, особенно когда нельзя точно определить, какую фичу следует удалить или какие комбинации фичей использовать.
#correlatedfeatures #featurecorrelation #dimensionalityreduction #featureselection #regularization
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146
🔠 Что такое Лассо-регресси Тибширани ? (Часть_1)
Лассо-регрессия Тибширани (Tibshirani's Lasso regression) - это метод регуляризации, разработанный Робертом Тибширани (Robert Tibshirani), который используется для выбора и оценки модели с учетом штрафа на сумму абсолютных значений коэффициентов регрессии. Он является вариантом L1-регуляризации, где L1-норма (сумма абсолютных значений) коэффициентов добавляется в функцию потерь для контроля сложности модели и сокращения размерности признакового пространства.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠 Что такое Лассо-регресси Тибширани ? (Часть_1)
Лассо-регрессия Тибширани (Tibshirani's Lasso regression) - это метод регуляризации, разработанный Робертом Тибширани (Robert Tibshirani), который используется для выбора и оценки модели с учетом штрафа на сумму абсолютных значений коэффициентов регрессии. Он является вариантом L1-регуляризации, где L1-норма (сумма абсолютных значений) коэффициентов добавляется в функцию потерь для контроля сложности модели и сокращения размерности признакового пространства.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
Please open Telegram to view this post
VIEW IN TELEGRAM
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146
🔠 Что такое Лассо-регресси Тибширани ? (Часть_2)
Основная идея лассо-регрессии Тибширани заключается в том, что она стимулирует некоторые коэффициенты модели к точному нулю, что может привести к разреженным моделям, где только некоторые признаки являются значимыми, а остальные игнорируются. Это позволяет снизить размерность данных и улучшить интерпретируемость модели.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠 Что такое Лассо-регресси Тибширани ? (Часть_2)
Основная идея лассо-регрессии Тибширани заключается в том, что она стимулирует некоторые коэффициенты модели к точному нулю, что может привести к разреженным моделям, где только некоторые признаки являются значимыми, а остальные игнорируются. Это позволяет снизить размерность данных и улучшить интерпретируемость модели.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
Please open Telegram to view this post
VIEW IN TELEGRAM
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146
🔠 Что такое Лассо-регресси Тибширани ? (Часть_3)
Выбор признаков: может использоваться для автоматического выбора наиболее важных признаков, исключая незначимые признаки из модели. Это особенно полезно при работе с большим количеством признаков или признаков с высокой корреляцией.
Сокращение размерности: позволяет сократить размерность данных, оставляя только наиболее информативные признаки. Это может улучшить производительность модели, снизить переобучение и упростить интерпретацию результатов.
Регуляризация: Добавление штрафа на сумму абсолютных значений коэффициентов помогает контролировать сложность модели и предотвращает переобучение, особенно при наличии мультиколлинеарности между признаками.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠 Что такое Лассо-регресси Тибширани ? (Часть_3)
Выбор признаков: может использоваться для автоматического выбора наиболее важных признаков, исключая незначимые признаки из модели. Это особенно полезно при работе с большим количеством признаков или признаков с высокой корреляцией.
Сокращение размерности: позволяет сократить размерность данных, оставляя только наиболее информативные признаки. Это может улучшить производительность модели, снизить переобучение и упростить интерпретацию результатов.
Регуляризация: Добавление штрафа на сумму абсолютных значений коэффициентов помогает контролировать сложность модели и предотвращает переобучение, особенно при наличии мультиколлинеарности между признаками.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
Please open Telegram to view this post
VIEW IN TELEGRAM
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146
🔠 Что такое Лассо-регресси Тибширани ? (Часть_4)
Выбор гиперпараметра: требует выбора гиперпараметра - коэффициента регуляризации, который определяет силу штрафа на коэффициенты. Выбор правильного значения гиперпараметра может быть нетривиальной задачей и требует кросс-валидации или других методов выбора.
Отбор признаков: может быть слишком суровой в отборе признаков и исключать некоторые полезные переменные, особенно если есть корреляция между признаками.
Неустойчивость к корреляции: При наличии сильной корреляции между признаками лассо-регрессия Тибширани может быть неустойчива и выбрать только один из коррелирующих признаков, в то время как другие признаки считаются незначимыми.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠 Что такое Лассо-регресси Тибширани ? (Часть_4)
Выбор гиперпараметра: требует выбора гиперпараметра - коэффициента регуляризации, который определяет силу штрафа на коэффициенты. Выбор правильного значения гиперпараметра может быть нетривиальной задачей и требует кросс-валидации или других методов выбора.
Отбор признаков: может быть слишком суровой в отборе признаков и исключать некоторые полезные переменные, особенно если есть корреляция между признаками.
Неустойчивость к корреляции: При наличии сильной корреляции между признаками лассо-регрессия Тибширани может быть неустойчива и выбрать только один из коррелирующих признаков, в то время как другие признаки считаются незначимыми.
#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space
Please open Telegram to view this post
VIEW IN TELEGRAM
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_164
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_1)
✔️Ответ: AdamW вводит дополнительное слагаемое в обновление параметров модели для уменьшения влияния больших значений параметров. Это помогает справиться с проблемой увеличения значений параметров во время обучения нейронных сетей, что может приводить к переобучению. Дополнительное слагаемое регуляризует обновление параметров и способствует лучшей обобщающей способности модели;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_1)
✔️Ответ: AdamW вводит дополнительное слагаемое в обновление параметров модели для уменьшения влияния больших значений параметров. Это помогает справиться с проблемой увеличения значений параметров во время обучения нейронных сетей, что может приводить к переобучению. Дополнительное слагаемое регуляризует обновление параметров и способствует лучшей обобщающей способности модели;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_164
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_2)
Nadam (Nesterov-accelerated Adaptive Moment Estimation) является вариацией алгоритма Adam с коррекцией Nesterov Momentum. Она использует модификацию алгоритма Momentum для вычисления градиентов в моменты времени, отличные от текущего;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_2)
Nadam (Nesterov-accelerated Adaptive Moment Estimation) является вариацией алгоритма Adam с коррекцией Nesterov Momentum. Она использует модификацию алгоритма Momentum для вычисления градиентов в моменты времени, отличные от текущего;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_164
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_3)
AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_3)
AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_164
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_4)
AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad
🔠Какие есть разновидности Adam optimization и в чем их разница ? (Часть_4)
AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;
https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
#AdamW #ParameterUpdate #Regularization #NeuralNetworks #Overfitting #Nadam #NesterovMomentum #AMSGrad