🔵Регрессия — важная часть машинного обучения. Она состоит из обучения алгоритма с помеченными данными и его использования для прогнозирования будущих (немаркированных) данных.

🔵Помеченные данные — это данные, поставляемые с метками, которые
в случае регрессии являются числами. Например, числа могут быть ценами на дома.

🔵В наборе данных признаки — это свойства, которые мы используем для прогнозирования метки. Так, если мы хотим спрогнозировать цены на
жилье, характеристики — это все, что описывает дом и что может определить цену, например размер, количество комнат, качество ближайшей школы, уровень преступности в районе, возраст дома и расстояние до шоссе.

🔵Метод линейной регрессии для прогнозирования состоит в присвоении веса каждому из признаков и суммировании весов, умноженных на соответствующие признаки, плюс смещение.

🔵 Графически можно представить алгоритм линейной регрессии как попытку провести прямую как можно ближе к набору точек.

🔵Работа алгоритма линейной регрессии заключается в том, что он начинает со случайной прямой, а затем медленно приближает ее к каждой из неправильно классифицированных точек, пытаясь классифицировать
их правильно

🔵 Полиномиальная регрессия — это общий случай линейной регрессии, в которой для моделирования данных мы используем кривые вместо прямых. Это особенно полезно, когда набор данных нелинейный.

🔵 Регрессия имеет множество применений, включая системы рекомендаций, электронную коммерцию и здравоохранение

np.random.rand() ➡️ Рандом от 0 до 1 (равномерное)
np.random.randn() ➡️ Нормальное распределение (среднее 0)
np.random.randint(a, b) ➡️ Целое число от a до b (не включая b)
np.random.uniform(a, b) ➡️ Вещественное число от a до b

⚙️ Цель градиентного спуска — найти такие параметры (веса модели), чтобы эта ошибка была минимальной (свести ошибку к нулю).

🧠 Представьте, что вы находитесь на вершине горы (наша гора — эта функция потерь), а нам нужно спуститься в низину этой горы, вот низина — это место, где ошибка 0 (или близко к нему), ошибка минимальна. спрыгнуть мы туда не можем, поэтому надо аккуратно спускаться. Маленькими шагами мы спускаемся по горе вниз — это и есть градиентный спуск

🔜 "Насколько в среднем сильно модель промахивается",
и причём большие ошибки штрафуются сильнее, потому что возводим в квадрат.

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(42) # фиксируем "случайность", чтобы каждый раз при запуске были одинаковые данные
x = 2 * np.random.randn(100, 1) + 3
y = 4 + 3 * x + np.random.randn(100, 1)

w = np.random.randn()
b = np.random.randn()

lr = 0.01
epochs = 1000

loss_history = []

for epoch in range(epochs):
    y_pred = w * x + b
    loss = ((y - y_pred) ** 2).mean()
    loss_history.append(loss)

for epoch in range(epochs):

    y_pred = w * x + b

    loss = ((y - y_pred) ** 2).mean()

    loss_history.append(loss)

    dw = -2 * np.mean(x * (y - y_pred))
    db = -2 * np.mean(y - y_pred)

    w -= lr * dw
    b -= lr * db

📉 Двигаем w и b в сторону уменьшения ошибки, используя градиенты и скорость обучения

    if epoch % 10 == 0:
        print(f"Эпоха {epoch}, Потеря: {loss:.4f}, w: {w:.4f}, b: {b:.4f}")

plt.scatter(x, y, label="ТРУ данные")
plt.plot(x, w * x + b, color='red', label="Линия регрессии")
plt.plot(loss_history)
plt.xlabel("Эпоха")
plt.ylabel("Ошибка")
plt.title("Градиентный спуск: уменьшение ошибки")

import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
from sklearn.metrics import mean_squared_error, r2_score, mean_absolute_error

np.random.seed(42)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

def linear_gradient_descent(X, y, lr=0.1, epoches = 1000):
    m = len(y)
    w = np.random.randn()
    b = np.random.randn()
    losses = []

    for _ in range(epoches):
        y_pred = w * X.reshape(-1) + b  # Предсказания
        L = y_pred - y.reshape(-1)  # (Loss)

        dw = (2/m) * np.sum(L * X.reshape(-1))  # Градиент для w
        db = (2/m) * np.sum(L)  # Градиент для b

        w -= lr * dw  # Обновляем w
        b -= lr * db  # Обновляем b
    
    return w, b

        w -= lr * dw  
        b -= lr * db  
        losses.append(mean_squared_error(y, y_pred))
    return w, b, losses

w, b, losses = linear_gradient_descent(X_scaled, y) # Обучение 
y_pred_lin = w * X_scaled + b # Наши результаты

print("Линейная регрессия")
print("w:", w)
print("b:", b)
print("MSE:", mean_squared_error(y, y_pred_lin))
print("MAE:", mean_absolute_error(y, y_pred_lin))
print("R²:", r2_score(y, y_pred_lin))

plt.figure(figsize = (12, 5))


plt.subplot(1, 2, 1)
plt.scatter(X, y, color='black', label='Данные')
plt.plot(X, y_pred_lin, color='blue', label='Линейная регрессия')
plt.xlabel("X")
plt.ylabel("y")
plt.legend()
plt.title("Линейная регрессия")


plt.subplot(1, 2, 2)
plt.plot(range(len(losses)), losses, color='red', label="MSE")
plt.xlabel("Итерации")
plt.ylabel("Ошибка (MSE)")
plt.legend()
plt.title("График обучения градиентного спуска")

plt.show()

🔗 Код корректирует эти шаги (корректирует w и b), пока ошибка не уменьшится