Коэффициенты второй зависят от масштаба стандартизированных данных, который всегда будет иметь среднее значение 0 и стандартное отклонение 1

Итак, добавлю вам 2 гистограммы для понимания среднего значения и стандартного отклонения.

1️⃣ На первой гистограмме мы видим значения массива raw_data с исходными данными. Черными крестиками показаны все наши точки массива raw_data.

Эта первая гистограмма показывает распределение значений из raw_data:

⚙️ Столбец около 0 показывает, сколько значений в raw_data близко к 0.

⚙️ Столбец около 5 показывает, сколько значений в raw_data близко к 5.

2️⃣ На второй гистограмме показано распределение Z-score преобразованных значений:

⚙️ Столбец около -1 показывает, сколько значений в transformed_data имеют Z-score около -1.

⚙️ Столбец около 0 показывает, сколько значений в transformed_data близко к среднему значению (0).

⚙️ Столбец около 1 показывает, сколько значений в transformed_data имеют Z-score около 1.

🧑‍💻 Гайс, всем привет! Заебал я вас уже Z-core стандартизацией, но выбора у вас, увы, нет! Хочу просто показать, чем мы все это время занимались...

📊 Эти гистограммы идеально показывают распределение значений в наших массивах данных. Каждый столбик показывает количество значений, которые попадают в определенный диапазон.

📈 Первый график (исходные данные — raw_data)

▫️Столбец около 0 показывает, сколько значений в raw_data близко к 0.

▫️Столбец около 5 показывает, сколько значений в raw_data близко к 5.

📕Красная пунктирная линия обозначает среднее значение исходных данных.

📉 Второй график (стандартизированные данные — transformed_data):

▫️Столбец около -1 показывает, сколько значений в transformed_data имеют Z-score около -1.

▫️Столбец около 0 показывает, сколько значений в transformed_data близко к среднему значению (0).

▫️Столбец около 1 показывает, сколько значений в transformed_data имеют Z-score около 1.

📙 Оранжевые штриховые линии обозначают ±1 стандартное отклонение от среднего значения.

Среднее значение (μ) — это 'главное' значение распределения данных (Это наша красная пунктирная линия).

⚙️ Для стандартизированных данных среднее значение всегда равно 0, так как Z-score преобразование приводит данные к нулевому среднему значению.

📈 Центр гистограммы: ⬇️

⚙️ Среднее значение указывает на центр гистограммы. Если данные симметричны, то большинство значений будут расположены вокруг среднего значения.

📉 Расположение бинов: ⬇️

⚙️ Бины на гистограмме будут расположены относительно среднего значения. Например, у нас есть бин от -1 до 0, он будет находиться слева от среднего значения (0), а бин от 0 до 1 будет находиться справа от среднего значения.

🧑‍💻 Друзья, привет! Если вы думали, что постов сегодня не будет, то зря, сегодня я вашу голову еще подзаебу!

В прошлом посте, дада, тот, что сверху, мы говорили про Среднее значение и где оно на вот этих гистограммах.

⚙️ Теперь, стандартное отклонение (σ) — это мера рассеяния данных. Оно показывает, насколько сильно значения отличаются от среднего значения.

⚙️ Для стандартизированных данных стандартное отклонение всегда равно 1.

🔗 Стандартное отклонение определяет ширину гистограммы. ‼️Чем больше стандартное отклонение, тем шире будет гистограмма, так как значения будут более рассеяны.
Бины (столбцы на гистограмме, показывающие сколько значений попадает в соответствующий интервал) на гистограмме будут расположены относительно стандартного отклонения. Например, бин от -1 до 0 будет содержать значения, которые находятся в пределах одного стандартного отклонения от среднего значения.

🟰 П О Д В Е Д Е М И Т О Г И 🟰

Зачем мы это все делали? Вопрос хороший, го попробуем на него ответить:

📊 Разбирали мы Z-score нормализацию, суть была в том, чтобы преобразовать данные таким образом, чтобы они имели среднее значение 0 и стандартное отклонение 1

⚙️ Какие же цели мы преследовали?

‼️ Во первых, это приведение к единому масштабу. Разные признаки могут иметь разные единицы измерения и диапазоны значений. Z-score стандартизация, в свою очередь, приводит все признаки к одному масштабу, что позволяет сравнивать их на равных условиях.

🔗 Во вторых, это улучшение работы алгоритмов машинного обучения, потому что некоторые алгоритмы работают лучше, когда данные находятся в одном масштабе.

🔗 Ну, и в третьих, мы вот запрогали гистограмму и поняли где у нас выбросы. Да даже на обычной линейной регрессии можно явно увидеть выбросы данных.

Такие дела, друзья )

П Е Р В Ы М Д Е Л О М С Ю Д А ➡️➡️➡️

🧑‍💻 К Т О Я ?

⚙️ О Ч Е М Э Т О Т К А Н А Л

🙄 Давно думал обновить всю инфу, вдруг добавятся еще подписичники

🔬 Вот так выглядит формула для метода min-max normalization (каждый нормализированный элемент признака будет вычисляться по этой формуле)

▫️X — исходное значение признака.

▫️ X min — минимальное значение признака в выборке.

▫️X max — максимальное значение признака в выборке.

▫️X norm— нормализованное значение признака.

Формула предполагает собой, что мы будем нормализовать данные в диапазон [0,1].

Всем даров, начнем воркать и разберем такой код

⚙️ Разберем такой код:

from sklearn.preprocessing import MinMaxScaler
import numpy as np

🔗 Для начала, импортируем привычные нам библиотеки а также модуль MinMaxScaler()

raw_data = np.array([1., 3., 2., 4., 2., 10., 2., 5., 2., 2., 1., 7., 5., 2., 5., 16., 10., 3., 24.], dtype=np.float32) #датасет привычный

print('Сырой датасет: %s' % raw_data[:8])

transformed_data = MinMaxScaler().fit_transform(raw_data.reshape(-1, 1)).reshape(-1) # Обучаем модель + нормализуем данные

print('MIN-MAX scale датасет: %s' % transformed_data[:8])

⚙️ По итогу, мы применяем MinMaxScaler нормализацию и обучаем модель на этих данных.

⚙️ Вывод:

Сырой датасет: [ 1.  3.  2.  4.  2. 10.  2.  5.]
MIN-MAX scale датасет: [0.         0.08695652 0.04347826 0.13043478 0.04347826 0.39130437
 0.04347826 0.17391305]