❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_139 (часть_1)

🔠 В вашем датафрейме есть скоррелированные фичи, что это и как от них избавится ?

Ответ:

Если в вашем датафрейме есть скоррелированные фичи, это означает, что некоторые признаки в наборе данных сильно связаны друг с другом.

1. Корреляционный анализ: Первым шагом можно провести корреляционный анализ, чтобы определить степень корреляции между парами фичей. Для этого можно использовать коэффициент корреляции, такой как коэффициент Пирсона или Спирмена.

2. Удаление одной из скоррелированных фичей: Если две или более фичи сильно коррелированы, можно удалить одну из них. Выбор фичи для удаления может быть основан на предметных знаниях или на дополнительном анализе влияния каждой фичи на модель. При этом следует учитывать, что удаление фичи может привести к потере информации.

#correlatedfeatures #featurecorrelation #dimensionalityreduction #featureselection #regularization

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_139 (часть_2)

🔠 В вашем датафрейме есть скоррелированные фичи, что это и как от них избавится ?

Понижение размерности: С помощью методов понижения размерности, таких как метод главных компонент (Principal Component Analysis, PCA) или факторный анализ, можно создать новые независимые факторы, которые объясняют большую часть дисперсии в данных. Новые факторы могут быть линейными комбинациями исходных фичей и могут использоваться вместо исходных фичей в моделировании.

Регуляризация: При использовании моделей с регуляризацией, таких как регрессия Ridge или Lasso, скоррелированные фичи могут быть автоматически штрафованы, что позволяет уменьшить их влияние на модель. Регуляризация может быть полезной, особенно когда нельзя точно определить, какую фичу следует удалить или какие комбинации фичей использовать.

#correlatedfeatures #featurecorrelation #dimensionalityreduction #featureselection #regularization

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_140

🔠 Что такое нормальное распределение ?

Нормальное распределение, также известное как распределение Гаусса или колоколообразное распределение, является одним из наиболее распространенных и важных распределений в статистике и вероятностной теории. Оно описывает распределение случайной переменной, которая подчиняется определенным условиям.

Характерной особенностью нормального распределения является его симметричность и колоколообразная форма графика плотности вероятности. Кроме того, оно полностью определяется двумя параметрами - средним значением (μ) и стандартным отклонением (σ). Среднее значение определяет центр распределения, а стандартное отклонение - меру его разброса или разности между значениями случайной переменной и средним значением.

#NormalDistribution #GaussianDistribution #BellCurve #Statistics #ProbabilityTheory #CentralLimitTheorem #Mean #StandardDeviation #DataAnalysis #DataScience

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_141

🔠 Что такое равномерное распределение (Uniform Distribution) ?

В равномерном распределении вероятность каждого значения на заданном интервале одинакова. Это означает, что в любом подинтервале данного интервала вероятность попадания случайной переменной в этот подинтервал пропорциональна длине этого подинтервала. Математически равномерное распределение можно описать с помощью двух параметров: a и b, где a - нижняя граница интервала, а b - верхняя граница интервала. Обозначается равномерное распределение как U(a, b). Функция плотности вероятности для равномерного распределения определяется следующим образом:

f(x) = 1 / (b - a), если a ≤ x ≤ b
f(x) = 0, в противном случае

Графически равномерное распределение представляет собой прямую линию с постоянной высотой на заданном интервале [a, b].

#Uniform_distribution #Probability_distribution #Statistics #Probability_theory #Random_variables #Continuous distributions #Mathematics #Grid

А Link'е куда бодрее идет голосование ))

Вот примерно, как-то так и выглядит очистка данных, очень жизненный мем ;))

Так много вопросов, так мало ответов ;))

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_141

🔠 Что такое биномиальное распределение (Binomial Distribution) ?

Биномиальное распределение является одним из основных дискретных распределений вероятностей в статистике и теории вероятностей. Оно описывает число успехов в серии независимых бинарных экспериментов, где каждый эксперимент имеет фиксированную вероятность успеха.

Биномиальное распределение определяется двумя параметрами: n и p. Параметр n представляет собой общее количество экспериментов, а параметр p - вероятность успеха в каждом отдельном эксперименте. Обозначается биномиальное распределение как B(n, p).

Функция вероятности биномиального распределения задается следующим образом:

P(X = k) = C(n, k) * p^k * (1 - p)^(n - k)

где X - случайная переменная, k - количество успехов, C(n, k) - число сочетаний из n по k, p - вероятность успеха в каждом эксперименте, (1 - p) - вероятность неудачи в каждом эксперименте.

Графически биномиальное распределение представляет собой дискретную функцию с пиком вокруг определенного значения k, которое может изменяться от 0 до n.

#Binomial_distribution #Probability_distribution #Statistics #Probability_theory #Discrete_distributions #Random_variables #Mathematics #Coin_flipping #Combinatorics

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_142

🔠 Что такое пуассоновское распределение (Poisson Distribution) ?

Это дискретное распределением вероятностей, которое моделирует количество событий, происходящих в заданном промежутке времени или пространстве, если эти события происходят с некоторой фиксированной средней интенсивностью и независимы друг от друга.

Пуассоновское распределение определяется одним параметром λ (лямбда), который представляет среднее количество событий, происходящих в данном промежутке времени или пространстве. Обозначается распределение Пуассона как Poisson(λ). Задается следующим образом:

P(X = k) = (e^(-λ) * λ^k) / k!

где X - случайная переменная, k - количество событий, e - основание натурального логарифма (приблизительно равно 2.71828), λ - среднее количество событий.

#Binomial_distribution #Probability_distribution #Statistics #Probability_theory #Discrete_distributions #Random_variables #Mathematics #Coin_flipping #Combinatorics

https://chat.lmsys.org/?utm_medium=email&utm_source=gamma&utm_campaign=-lmsys-2023 - запостили вот такую чат-бот арену по моделькам LLM, кто в теме и интересуется можете поиграться. Там же открытый код датасет и ссылки на статьи.

https://github.com/facebookresearch/segment-anything/tree/main#model-checkpoints - Легкий декодер масок SAM в формат ONNX, позволяет запускать его в любой среде, поддерживающей время выполнения ONNX. Сегментация изображения, готовая к развертыванию модель.

https://www.singlestore.com/resources/webinar-introduction-to-singlestoredb-and-how-to-get-started/?utm_medium=email&utm_source=singlestore&utm_campaign=7014X0000029a6SQAQ&campaignid=7014X0000029a6SQAQ - регистрация а конфу по SingleStoreDB

https://www.singlestore.com/resources/webinar-deploy-a-private-llm-on-aws-cloud-using-terraform-sagemaker/?utm_medium=email&utm_source=singlestore&utm_campaign=7014X000002ZuFuQAK&campaignid=7014X000002ZuFuQAK - регистрация на конфу Deploy a Private LLM on AWS Cloud Using Terraform + SageMaker

🚩 Киберколизей: открыта регистрация на международные CTF-соревнования по кибербезопасности!

⏰ Старт: 11 ноября 10:00. Продолжительность 48 часов.

✅ Подробности и регистрация команд: https://cybercoliseum.codeby.games

Отлично посидели ods.ai, фото модератора чата ods.ai

Уже набрали 18 голосов, и продолжаем активно двигаться вперед, меж тем для курса сейчас, последнее видео монтируют, посмотрим как зайдет.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_143

🔠 Что такое экспоненциальное распределение (Exponential Distribution) ?

Экспоненциальное распределение является непрерывным распределением вероятностей, которое моделирует время между последовательными и независимыми событиями, происходящими с постоянной средней интенсивностью.

Экспоненциальное распределение определяется одним параметром λ (лямбда), который представляет среднюю интенсивность событий (обратную среднему времени между событиями). Обозначается экспоненциальное распределение как Exp(λ). Функция плотности вероятности:

f(x) = λ * e^(-λx), где x ≥ 0
f(x) = 0, где x < 0

где f(x) - функция плотности вероятности, x - время между событиями, e - основание натурального логарифма (приблизительно равно 2.71828), λ - средняя интенсивность событий.

#Binomial_distribution #Probability_distribution #Statistics #Probability_theory #Discrete_distributions #Random_variables #Mathematics #Coin_flipping #Combinatorics