👨‍💻 🧑‍💻 Не так давно в этом посте мы начали рассматривать ГРАДИЕНТНЫЙ СПУСК. Вы уже заметили, что в последнее время градиентный спуск стал неотъемлемой темой в моих постах. 🤯 Тема очень важная и разбирать нам ее придется очень и очень долго... Ладно, не будем о плохом, держите очередную непонятную формулу (ее мы кстати уже рассмотрели в этом посте):

0⃣🟰 θ = θ − 𝜂 ⋅ ∇ J (θ)🟰

🧑‍💻 𝜃 — параметры модели (веса)

🧑‍💻 𝜂 — learning rate (шаг обучения)

🧑‍💻 J(θ) — функция потерь

🧑‍💻∇₀J(θ) — градиент этой функции по параметрам

👨‍💻 Так вот, все, что мы рассмотрели — это был градиентный спуск (Batch). ❓Что за batch? Это один из видов градиентного спуска, можно сказать, что он базовый.

1⃣ Теперь переходим к SGD:

🔤🔤🔤

🔤🌷🔤🔤🔤🔤🔤🌷🔤🔤

🔤🌹🔤🔤🔤🔤🔤🌷

🔤🔤🔤🔤🔤🔤🌷

⚙️ На каждой итерации берёт один случайный пример из датасета и делает шаг в направлении уменьшения ошибки.

🟰θ = θ − 𝜂 ⋅ ∇₀ J (θ; xᵢ ; y ᵢ)🟰

🧑‍💻 𝜃 — параметры модели (веса)

🧑‍💻 𝜂 — learning rate (шаг обучения)

🧑‍💻x ; yᵢ — случайная обучающая пара

🧑‍💻 J(θ; ᵢ ; yᵢ) — функция потерь на этой паре

🟰 L(w, b) = 1/2 * (y - (wx + b))² 🟰

Дальше будем считать градиенты, а пока спать 💤😴

👨‍💻⚙️ Вот такую красоту сделал мой хороший друг, в будущем можно будет намутить NFC брелки для быстрого доступа в канал

🔗 Вот его канал 🔗

🔤🔤🔤🔤🪷🔤🔤 🔤🪷

3️⃣🔤 🪷🔤🔤🔤🔤

👨‍💻⚙️ Так, снова пост, вот здесь мы разобрали задание с курса, но я хотел бы неплохо так дополнить:

0⃣‼️ У нас есть прямая, ее вы видите на фотке, она проходит через две точки в пространстве признаков x₁ и x₂. Нам надо найти такой вектор весов 🟰w = [w₀, w₁, w₂]🟰, чтобы уравнение: 🟰w₁ * x₁ + w₂ * x₂ + w₀ = 0 🟰 описывало нашу прямую на картинке.

1⃣📇 Напоминаю про точки:

🔵x1, y1 = (-3, 1)
🔵x2, y2 = (3, 5)

2⃣❓Что означают эти w вообще❓

w₁ — вес признака x₁

w₂ — вес признака x₂

w₀ — свободный член (смещение, пересечение, как вам удобно)

🧑‍💻 И вместе они задают уравнение плоскости, а в нашем случае — просто прямую на плоскости: x₁, x₂. ‼️ Кстати, b мы итак можем определить чисто по графику, оно будет равно 3 (точка, где прямая пересекает ось)

3⃣ Теперь угловой коэффициент: Его мы нашли в прошлом посте, здесь лишь повторяем 🔜 k = 2/3

4⃣ Берем любую точку (берем x1, y1 = (-3, 1)) и подставляем в уравнение:

🟰 y = kx + b 🟰

🟰 b = y - kx 🟰

🟰 b = 1 - (2/3) * (-3) = 1 + 2 = 3 🟰

🟰 y = (2/3) * x + 3 🟰— получаем такое уравнение прямой

🟰 y - (2/3) * x - 3 = 0 🟰 — переносим в одну сторону

🟰w₁ * x₁ + w₂ * x₂ + w₀ = 0 🟰 — снова смотрим сюда и определяем наши веса; подводим все к одному виду Ax + By + C = 0

🌹🔤🔤🔤🪷🌷

w₁ = -3

w₂ = -2/3

w₀ = 1

👨‍💻 Так, еще можно выложить кодик к этому заданию:

x1, y1 = -3, 1
x2, y2 = 3, 5

delta_x = x2 - x1
delta_y = y2 - y1

# Ax + By + C = 0
A = delta_y
B = -delta_x
C = delta_x * y1 - delta_y * x1

w = [C, A, B]

0⃣ Задаем две точки и находим разности координат:

🔵 delta_x = 6 (разница по x)

🔵 delta_y = 4 (разница по y)

x1, y1 = -3, 1
x2, y2 = 3, 5

delta_x = x2 - x1  # 6
delta_y = y2 - y1  # 4

1⃣ Формируем коэффициенты уравнения прямойЖ

# Ax + By + C = 0
A = delta_y      # A = 4
B = -delta_x     # B = -6
C = delta_x * y1 - delta_y * x1 #Будет равно 18

🧑‍💻 Теперь строим уравнение прямой в этом формате: 🟰Ax + By + C = 0🟰

2⃣ И выводим вектор параметров по ТЗ:

w = [C, A, B]

😐 Два главных вопроса:

❓ Почему B = -delta_x (минус разность по x) ❓

‼️ Итак, начинаем:

🟰 (y - y₁) / (y₂ - y₁) = (x - x₁) / (x₂ - x₁) 🟰 — у нас есть такая вот пропорция (просто привели наше уравнение к такому виду)

🟰(y - 1) / (5 -1) = (x - (-3)) / (3 - (-3))🟰— подставляем наши координаты точек

🟰(y - 1) / 4 = (x + 3) / 6🟰— упрощаем

🟰6 * (y - 1) = 4 (x + 3)🟰 — теперь избавляемся от дробей привычным
школьным образом

🟰6y - 6 = 4x + 12🟰— раскрываем скобки

🟰−4x + 6y − 6 − 12 = 0🟰— раскрываем скобки и сразу приводим к виду (Ax + By + C = 0)

🟰−4x + 6y − 18 = 0🟰 — упрощаем

‼️ B = -delta_x, потому что в случае переноса 🟰(x - x₁) / (x₂ - x₁)🟰 в левую сторону в этом выражении 🟰 (y - y₁) / (y₂ - y₁) = (x - x₁) / (x₂ - x₁) 🟰перед x будет знак —

❓Второй вопрос, почему A = delta_y, B = -delta_x, если A — это коэффициент перед x, B — коэффициент перед y❓

⚙️ Напоминаю, что мы можем перенести все слагаемые нашего изначального уравнения в одну сторону:

🟰 (y - y₁) / (y₂ - y₁) = (x - x₁) / (x₂ - x₁) 🟰 — было

🟰 y * (x₂ - x₁) - y₁ * (x₂ - x₁) = x * ((y₂ - y₁) - x₁ * (y₂ - y₁) 🟰 — просто раскрыли скобки

🟰 y * (x₂ - x₁) - y₁ * (x₂ - x₁) - x * ((y₂ - y₁) + x₁ * (y₂ - y₁) 🟰— перенесли в одну сторону (знаки изменились)

‼️САМОЕ ГЛАВНОЕ‼️

👨‍💻 Слагаемое с нашим игриком: 🟰 y * (x₂ - x₁)🟰 — Заметили? Эта темка в скобках и есть delta_x, а перед ней стоит коэффициент y

📊 Слагаемое с нашим иксом: -🟰 -x * (y₂ - y₁)🟰Все что в скобках — это delta_y, перед ним коэффициент x.

👨‍💻 Устали? График уже висит в комментариях, начинаем новое задание:

0⃣📱` Нам нужно сделать абсолютно тоже самое, что и в прошлом задании, но точки другие, а повторить всегда можем.

1⃣🧑‍💻 Сразу выложу код, с ним проблем нет, ведь меня больше интересует решение без кода:

x1, y1 = -3, 5
x2, y2 = 7, 5

delta_x = x2 - x1
delta_y = y2 - y1

# Ax + By + C = 0
A = delta_y
B = -delta_x
C = delta_x * y1 - delta_y * x1

w = [C, A, B]
print(w)

2⃣ 🟰w₁ * x₁ + w₂ * x₂ + w₀ = 0 🟰— вот такое уравнение мы должны найти

3⃣ Точки и разности координат:

🔵x1, y1 = (-3, 5)

🔵x2, y2 = (7, 5)

🔵 delta_x = 10 (разница по x)

🔵 delta_y = 0 (разница по y)

4⃣:

🟰 (y - y₁) / (y₂ - y₁) = (x - x₁) / (x₂ - x₁) 🟰— общее уравнение прямой

🟰(y -5) * 10 = (x - (-3) * 0)🟰

🟰(y - 5) * 10 = 0🟰

🟰y - 5 = 0 или y = 5🟰

5⃣:

🟰 Ax + By + C = 0 🟰

🔵A — коэффициент перед x (он равен 0)

🔵B — коэффициент перед y (он у нас равен 1, ща увидите)

🔵C — свободный член (равен - 5, потому что перенесли влево)

6⃣ 🟰0 * x + 1 * y − 5 = 0🟰 — записываем в общем виде

7⃣ Выводим в том же формате:

🟰w = [w₀, w₁, w₂]🟰

🟰 w = [-5, 0, 1] 🟰— наш ответ

👨‍💻 Думали поста не будет? Я тоже так думал, но планы меняются, так что хотя бы начнем:

0⃣‼️ У нас двумерное пространство признаков x₁, x₂, воот, также тут изображены объекты двух разных классов:

🔵квадратами - объекты класса C₁ = +1

🔵ромбами - объекты класса C₂ = -1

🟢 Красная разделяющая линия проходит через синие точки. Размер клеток по каждой из координат равен 1 (график в комментах)

🟢 А найти нам нужно все также вектор параметров:

🟰w = [w₀, w₁, w₂]🟰

🟰w₁ * x₁ + w₂ * x₂ + w₀ = 0 🟰 — а вот наше уравнение

🟢 Также, мы имеем объекты для тестовой выборки:

x_test = [(5, -3), (-3, 8), (3, 6), (0, 0), (5, 3), (-3, -1), (-3, 3)]

🟢 Еще нам нужно вычислить метку класса для каждого объекта по вот этой вот формуле:

🟰 a(x) = sign(wᵀ * x) 🟰

... где x = [1, x₁, x₂] — вектор признаков (координат) объекта выборки, дополненный первой единицей для параметра w₀.

1⃣ Итак, начнем. Находим точки:

🔵p₁ = (−5,6)

🔵p₂ = (8,−3)

2⃣ Дальше находим k (наш наклон). Я как-то расписывал уж эту формулу — вот здесь

🟰 k = (y₂ - y₁) / (x₂ - x₁) 🟰➡️За вас посчитал, получаем -9/13

Скоро продолжим 💤

👨‍💻Всем привет, продолжаем прошлый пост:

3⃣ Дальше нужно найти b (у нас уже найден k):

🟰 y = kx + b 🟰

🟰 b = y - kx 🟰

🟰 b = 6 - (-9/13 * (-5) = 6 - 45/13 = (78-45)/13 = 33/13 🟰 — берем любую точку и подставляем координаты, мы взяли точку (-5, 6)

🟰 y = 33/13 - 9/13*x 🟰 — получаем уравнение и умножаем | * 13

🟰 w = [-33, 9, 13] 🟰— отсюда получаем коэффициенты

4⃣ Вектор весов:

w = np.array([-33, 9, 13]) # [свободный член, вес при x1, вес при x2]

5⃣ Далее функция. тут надо внимательно: она считает точку с помощью формулы и относит к классу -1 ромбов (если результат < 0) или к квадратам +1 (если результат >= 0)

a_sign = lambda x, w: -1 if np.dot(x, w) < 0 else 1

6⃣ Добавим единицу к каждой точке из 🟰x_test🟰

x_test_new = np.array([[1, x1, x2] for x1, x2 in x_test])

🔵Поскольку у нас есть w₀, нам нужна была единица, например:

🔵Было (5, -3) ➡️ стало (1, 5, -3)

7⃣ Теперь для каждый точки (у них уже стоит единица, если что) применяем функцию 🟰a_sign🟰 и по итогу получаем список предсказаний (у нас может быть либо -1, либо 1), то есть, на выходе получаем список предсказаний 🟰 [-1, 1, 1, -1, 1, -1, -1]🟰

predict = [a_sign(x, w) for x in x_test_new]

💤 Подумаю, как можно усовершенствовать код с помощью библиотек, всем пака

🪷🔤🔤🔤🔤🌷🔤🔤 🌹🔤🔤🌹🔤🔤🔤🔤🔤🔤

👨‍💻 Итак, немного отойдем от Бинарной Классификации и вычислений векторов, тут, тут и даже тут мы уже рассматривали что-то подобное.

0⃣⚙️ Начнем с того, что логистическая регрессия — это не регрессия вовсе.❓ Да, звучит сомнительно, но это алгоритм классификации. То есть, моделька логистической регрессии будет предсказывать вероятность принадлежности объекта к одному из двух классов (мы подобной темкой занимались в последних постах).

1⃣🛍 Если вы хорошо вспомните, мы как то рассматривали базовую нейронку, которая угадывала пол по входным признакам, Алгоритм отчасти похож:

🧑‍💻‼️ Для понимания, представьте обычную линейную комбинацию признаков:

🔵z = w₁ * x₁ + w₂ * x₂ + b

🧑‍💻 Далее, мы прогоняем нашу линейную зависимость через сигмоиду:

🔵σ(z) = 1 / 1 + e⁻ ᶻ

🧑‍💻 Считаем функцию потерь (НО НЕ MSE, мы бы использовали логарифмическую функцию потерь, так как MSE, MAE это для регрессий).

🧑‍💻 Далее обновляем веса с помощью любимого градиентного спуска и минимизируем Loss

❓ Почему именно сигмоида? Как минимум, она переводит число в диапазон (0, 1)

2⃣ Начнем с кода, завтра продолжим:

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, confusion_matrix

👨‍💻Йоу воссап друзья, продолжаем писать пост

📰 В прошлом посте (он тут кстати), мы импортировали вот эту библиотеку:

from sklearn.datasets import load_breast_cancer

3⃣⚙️ Так вот, загружаем наш датасет по диагностике рака груди:

data = load_breast_cancer() 
# Функцмя возвращает Bunch объект (типа словаря). Этот объект содержит data.data — признаки (массив NumPy), data.target — метки (0 или 1), data.feature_names — названия признаков (столбцов)

4⃣🛍 Создадим таблицу X из фичей (как раз тут используем pandas)

X = pd.DataFrame(data.data, columns = data.feature_names)
y = pd.Series(data.target)

🧑‍💻 Мы преобразуем массив data.data в объект DataFrame.

🧑‍💻 В columns мы задаем названия столбцов соответствующе признакам

🧑‍💻 Что касаемо второй строки, мы преобразуем data.target в объект Series, который представляет собой одномерный массив меток классов

📊 На данном этапе мы имеем X и y:

🔵 X — это таблица признаков (вида n × m, здесь n — количество образцов, m — количество признаков)

🔵y — вектор меток классов (n)

5⃣📊 Разделяем данные на обучающую и тестовую выборки:

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state = 1)

🧑‍💻 Функция train_test_split случайным образом разделяет данные на две части (тестовая 20% и обучающая 80%). ⚙️ Кароч, если возьмем X, то эта таблица делится на 2 части (X_train, X_test).

6⃣📊 Мы в прошлом посте импортировали StandardScaler. Мало ли данные разнятся, вот и применим масштабирование, а именно Z-core. У нас был огромный разбор аж двух видов нормализации, все есть на канале!

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

🧑‍💻 Первая строка это просто объект стандартизации

🧑‍💻 fit_transform(X_train) — Вычисляем среднее (μ) и стандартное отклонение (σ) для каждого признака на обучающих данных. В общем, мы трансформируем и обучаем scaler и применяем его к X_train данные

🧑‍💻 transform(X_test) — А здесь мы просто применяем трансформацию к scaler и применяем к X_test данным. ❓ Почему не fit? Потому что наши тестовые данные должны быть независимыми от тренировочных данных. Тем более, scaler уже обучен (на обучающих данных), и он применяет ту же формулу Z-score

Картиночку скоро повторим 💤

👨‍💻 Всем ку! Продолжаем разбирать 📈 логистическую регрессию. Намутил для вас классный дизайн для поста, а вот кстати прошлый пост

7⃣📊 Мы остановились на стандартизации (создали объект 🟰Z-score🟰 и обучили + применили стандартизацию).

⚙️ Теперь создадим модель логистической регрессии:

model = LogisticRegression(max_iter = 1000)

🛍 По умолчанию стоит L2 регуляризация, а max_iter отвечает за число итераций для градиентного спуска. (Про регуляризацию мы поговорим попозже, тоже очень важная тема).

👨‍💻 Вам нужно понимать одно: регуляризация штука интересная, нужна для 'защиты от переобучения модельки', и ,грубо говоря, она 'штрафует большие веса модели' — это все про L2, еще есть L1 (но обо всем потом)

📊8⃣ Обучаем модель:

model.fit(X_train_scaled, y_train)

📉Кароч ну тут мы по сути ищем такие веса (w), чтобы минимизировать 🟰log loss🟰 (это метрика для логистической регрессии) предсказаниями и 🟰y_train🟰

🧑‍💻 Чтобы вам понять, что делает model.fit():

🔵Получает X_train_scaled и y_train (наши обучающие данные и соответствующие метки, предсказания)

🔵Начинает с рандомных весов w

🔵Делает предсказания ŷ (вероятности через функцию сигмоиды)

🔵Сравнивает их с 🟰y_train🟰 с помощью 🟰log loss🟰

🔵Считает ошибку (loss)

🔵Обновляет веса, чтобы ошибка стала меньше

🔵Повторяет это до сходимости (или до max_iter)

➡️0⃣ Получаем предсказания y_pred:

y_pred = model.predict(X_test_scaled) #выдаст 0 или 1

1⃣0⃣ Выводим метрики качества:

print("Classification Report:\n", classification_report(y_test, y_pred))

🧑‍💻 classification_report — это функция для оценки эффективности алгоритмов классификации (в нем сразу содержится несколько + метрик качества) — тут тоже нужен отдельный пост, на выводе покажу что получится.

print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))

🧑‍💻 Выдает матрицу ошибок (показывает, где модель ошиблась, а где угадала )

🧑‍💻 Вот такой получится вывод для двух функций сверху

precision recall f1-score support

0 0.98 0.95 0.96 43
1 0.97 0.99 0.98 71

accuracy 0.97 114
macro avg 0.97 0.97 0.97 114
weighted avg 0.97 0.97 0.97 114

⚙️ Остается визуал:

sns.heatmap(confusion_matrix(y_test, y_pred), annot=True, fmt='d', cmap='Blues')
plt.xlabel("Predicted")
plt.ylabel("Actual")
plt.title("Confusion Matrix")
plt.show()

🧑‍💻 sns.heatmap(confusion_matrix...) — как раз отвечает за цветную таблицу в выводе (в прошлом посте я ее кидал, в этом будет в комментах). В функцию мы передали матрицу ошибок.

🧑‍💻 annot = True — аргумент вписывает числа внутрь ячеек.

❓ Что мы видим на графике ❓

🔵 41 — модель правильно предсказала класс 0 (у пациента рак)

🔵 70 — правильно предсказала класс 1 (у пациента рака нет)

🔵 1, 2 это ошибки модели в каждой из 2 ситуаций

👨‍💻 Йоу, воссап друзья, предлагаю продолжить бинарную классификацию, тем более, вы ничего не можете предложить.

import numpy as np

x_test = [(5, -3), (-3, 8), (3, 6), (0,0), (5, 3), (-3, -1), (-3, 3)]

w = np.array([-33, 9, 13])
a_sign = lambda x, w: -1 if np.dot(x, w) < 0 else 1
x_test_new = np.array([[1, x1, x2] for x1, x2 in x_test])
predict = [a_sign(x, w) for x in x_test_new]

⚙️ Мы разобрали код выше ТУТ и ТУТ, теперь можно попробовать его улучшить.

📇 Напоминаю, нам нужно было найти вектор параметров w 🟰w = [w₀, w₁, w₂]🟰 для разделяющей линии в соответствии с выражением: 🟰w * x₁ + w₂ * x₂ + w₀ = 0 🟰

📊 В прошлом посте ТУТ мы нашли этот самый вектор параметров 🟰 w = [-33, 9, 13] 🟰и получили такое уравнение прямой: 🟰9 * x₁ +13 * x₂ − 33 = 0🟰

📊 Но, но, помимо вектора параметров нам также нужно было сформировать список 🟰predict из значений меток {-1, +1}🟰 (поскольку у нас как раз 2 класса — C₁ = +1, C₂ = -1). То есть, если

wᵀ * x ≥ 0 📐 +1

wᵀ * x < 0 📐 -1

🧠 Эти самые метки мы искали по формуле 🟰 a(x) = sign(wᵀ * x) 🟰, здесь x = [1, x₁, x₂] — вектор признаков (координат) объекта выборки, дополненный первой единицей для параметра w₀.

📈 Короче, чтобы вам было проще, давайте на примере:

Мы уже имеем метки по ТЗ:

x_test = [(5, -3), (-3, 8), (3, 6), (0, 0), (5, 3), (-3, -1), (-3, 3)]

🟰 x = [1, 5, −3] 🟰— добавляем 1, чтобы учесть смещение w₀ (со всеми примерами также)

🟰 wᵀ = [-33, 9, 13] 🟰

🟰 wᵀ * x 🟰

🟰 wᵀ * x = −33 * 1 + 9 * 5 + 13 * (−3) = −33 + 45 − 39 = −27 🟰Получаем wᵀ * x < 0, следовательно метка -1

🔜 Можете сами посчитать остальные метки, получаем такую штуку:

predict=[−1, +1, +1, −1, +1, −1, −1]

🧑‍💻 Позже продолжим