scaler_zcore = StandardScaler() #Тут создаем объект
X_zcore = scaler_zcore.fit_transform(X) # тут обучаем и трансформируем данные X

model_zcore = LinearRegression() # Создаем объект линейной регресии
model_zcore.fit(X, y) # обучаем модель на стандартизированных данных и y
y_pred_zcore = model_zcore.predict(X_zcore) # Затем предсказываем

mse_zcore = mean_squared_error(y, y_pred_zcore)
print('MSE для стандартизованных данных (Z-core): %.4f' % mse_zcore)

scaler_minmax = MinMaxScaler()
X_minmax = scaler_minmax.fit_transform(X)

model_minmax = LinearRegression()
model_minmax.fit(X_minmax, y)
y_pred_minmax = model_minmax.predict(X_minmax)

mse_minmax = mean_squared_error(y, y_pred_minmax)
print('MSE для нормализованных данных (Min-Max Scaling): %.4f' %mse_minmax)

if mse_minmax < mse:
    print('Метрика качества улучшилась после Min-Max Scaling.')
else:
    print('Метрика качества не улучшилась после Min-Max Scaling.')
if mse_zcore < mse:
    print('Метрика качества улучшилось после Z-core (Standardization).')
else:
    print('Метрика качества не улучшилось после Z-core (Standardization).')

plt.figure(figsize=(18, 6))

plt.subplot(1, 3, 1)
plt.scatter(X, y, color='blue', label='Исходные данные')
plt.plot(X, y_pred, color='red', label='Линейная регрессия (исходные данные)')
plt.title('Исходные данные и линейная регрессия')
plt.xlabel('X')
plt.ylabel('y')
plt.grid(True)
plt.legend()

# Нормализованные данные (Min-Max Scaling) и линейная регрессия
plt.subplot(1, 3, 2)
plt.scatter(X_minmax, y, color='green', label='Нормализованные данные (Min-Max Scaling)')
plt.plot(X_minmax, y_pred_minmax, color='orange', label='Линейная регрессия (Min-Max Scaling)')
plt.title('Нормализованные данные (Min-Max Scaling) и линейная регрессия')
plt.xlabel('X (нормализованный)')
plt.ylabel('y')
plt.grid(True)
plt.legend()

# Стандартизованные данные (Z-core) и линейная регрессия
plt.subplot(1, 3, 3)
plt.scatter(X_zcore, y, color='purple', label='Стандартизованные данные (Z-core)')
plt.plot(X_zcore, y_pred_zcore, color='magenta', label='Линейная регрессия (Z-core)')
plt.title('Стандартизованные данные (Z-core) и линейная регрессия')
plt.xlabel('X (стандартизованный)')
plt.ylabel('y')
plt.grid(True)
plt.legend()

plt.tight_layout()
plt.show()

Исходный датасет X: [0.47189467 6.0558107  1.05857812 3.94111923 2.79860657]
Целевая переменная y: [[ 5.87071292]
 [21.7874835 ]
 [ 7.96166193]
 [15.56482486]
 [13.32796767]]
MSE для исходных данных: 0.9591
MSE для стандартизированных данных (Min-Max Scaling): 0.9591
MSE для нормализованных данных (Min-Max Scaling): 0.9591
Метрика качества улучшилась после Min-Max Scaling.
Метрика качества не улучшилось после Z-core (Standardization).

import numpy as np
from matplotlib import pyplot as plt
from sklearn.preprocessing import MinMaxScaler, StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

np.random.seed(30)
X = 2 * np.random.randn(100, 1) + 3  # Признак X (нормальное распределение со средним 3 и стандартным отклонением 2)
y = 4 + 3 * X + np.random.randn(100, 1)  # Целевая переменная y с шумом

print('Исходный датасет X: %s' % X[:5].flatten())
print('Целевая переменная y: %s' % y[:5].reshape(-1, 1))

model = LinearRegression()
model.fit(X, y)
y_pred = model.predict(X)

mse = mean_squared_error(y, y_pred)
print('MSE для исходных данных: %.4f' % mse)

# Применяем Z-core (Standardization)
scaler_zcore = StandardScaler()
X_zcore = scaler_zcore.fit_transform(X)

# Построение модели на стандартизованных данных (Z-core)
model_zcore = LinearRegression()
model_zcore.fit(X_zcore, y)
y_pred_zcore = model_zcore.predict(X_zcore)

# Вычисление метрики качества (MSE) для стандартизованных данных (Z-core)
mse_zcore = mean_squared_error(y, y_pred_zcore)
print('MSE для стандартизованных данных (Z-core): %.4f' % mse_zcore)

# Применяем MinMaxScaling
scaler_minmax = MinMaxScaler()
X_minmax = scaler_minmax.fit_transform(X)

# Построение модели на нормализованных данных (Min-Max Scaling)
model_minmax = LinearRegression()
model_minmax.fit(X_minmax, y)
y_pred_minmax = model_minmax.predict(X_minmax)

# Вычисление метрики качества (MSE) для нормализованных данных (Min-Max Scaling)
mse_minmax = mean_squared_error(y, y_pred_minmax)
print('MSE для нормализованных данных (Min-Max Scaling): %.4f' % mse_minmax)

if mse_minmax < mse:
    print('Метрика качества улучшилась после Min-Max Scaling.')
else:
    print('Метрика качества не улучшилась после Min-Max Scaling.')

if mse_zcore < mse:
    print('Метрика качества улучшилось после Z-core (Standardization).')
else:
    print('Метрика качества не улучшилось после Z-core (Standardization).')

plt.figure(figsize=(18, 6))

plt.subplot(1, 3, 1)
plt.scatter(X, y, color='blue', label='Исходные данные')
plt.plot(X, y_pred, color='red', label='Линейная регрессия (исходные данные)')
plt.title('Исходные данные и линейная регрессия')
plt.xlabel('X')
plt.ylabel('y')
plt.grid(True)
plt.legend()

plt.subplot(1, 3, 2)
plt.scatter(X_minmax, y, color='green', label='Нормализованные данные (Min-Max Scaling)')
plt.plot(X_minmax, y_pred_minmax, color='orange', label='Линейная регрессия (Min-Max Scaling)')
plt.title('Нормализованные данные (Min-Max Scaling) и линейная регрессия')
plt.xlabel('X (нормализованный)')
plt.ylabel('y')
plt.grid(True)
plt.legend()

plt.subplot(1, 3, 3)
plt.scatter(X_zcore, y, color='purple', label='Стандартизованные данные (Z-core)')
plt.plot(X_zcore, y_pred_zcore, color='magenta', label='Линейная регрессия (Z-core)')
plt.title('Стандартизованные данные (Z-core) и линейная регрессия')
plt.xlabel('X (стандартизованный)')
plt.ylabel('y')
plt.grid(True)
plt.legend()

plt.tight_layout()
plt.show()

На практике гораздо
чаще применяются средняя абсолютная погрешность и средняя квадратиче-
ская погрешность. Они определяются аналогичным образом (тут речь про абсолютные и квадратические погрешности ), за исключени-
ем того, что вместо сумм мы вычисляем средние значения. Таким образом,
средняя абсолютная погрешность — это среднее значение вертикальных
расстояний от точек до прямой, а средняя квадратическая погрешность — это
среднее значение квадратов этих же расстояний.

import numpy as np
from matplotlib import pyplot as plt
from sklearn.preprocessing import StadardScaler

x = np.linspace(1, 10, num = 10)
y = np.array(
    [1., 3., 4., 2., 10., 5., 5., 2., 5., 10.]
)

scaler = StandardScaler()

y_transformed = scaler.fit_transform(y.reshape(-1, 1)).reshape(-1)

-1 означает, что NumPy сам определит размерность по этой оси на основе данных и указанного размера по другой оси (в данном случае — 1).

y_transformed = scaler.fit_transform(y.reshape(-1, 1))

#Вывод:
array([[-1.24656167],
       [-0.57274455],
       [-0.23583599],
       [-0.90965311],
       [ 1.78561537],
       [ 0.10107257],
       [ 0.10107257],
       [-0.90965311],
       [ 0.10107257],
       [ 1.78561537]])

Также вместо reshape(-1) мы можем использовать flatten()

plt.figure(figsize=(8, 6))
plt.scatter(x, y_transformed, color='blue', label='Нормализованные данные')
plt.title('График зависимости нормализованных значений от x')
plt.xlabel('x')
plt.ylabel('y (нормализованный)')
plt.grid(True)
plt.legend()
plt.show()

Полиномиальная регрессия — это метод регрессионного анализа, который используется для моделирования нелинейных зависимостей между независимой переменной x и зависимой переменной y. В отличие от линейной регрессии, где зависимость моделируется прямой линией, полиномиальная регрессия использует полиномы (например, квадратичные, кубические или более высоких степеней) для описания данных.

from matplotlib import pyplot as plt
import numpy as np

x =np.linspace(-10, 10, num = 100)

y = x 

plt.plot(x, y)
plt.show()

⚙️ Тривиальное преобразование y = x — это простейшая форма зависимости, где значение y напрямую равно значению x

from matplotlib import pyplot as plt
import numpy as np

x = np.linspace(-10, 10, num = 100)

y = x * x
plt.plot(x, y)
plt.show()

from matplotlib import pyplot as plt
import numpy as np

x = np.linspace(-10, 10, num=100)

y = x * x  x^2

plt.plot(x, y) 
plt.show()

import numpy as np
from matplotlib import pyplot as plt

x = np.linspace(-10, 10, num = 100)

y = x * x * x
plt.plot(x, y)
plt.show()

import numpy as np
from matplotlib import pyplot as plt

x = np.linspace(-10, 10, num = 100)

y = x * x * x
plt.plot(x, 0.5 * x * x * x + 2.5 * x * x + 0.1 * x)
plt.show()

В конце декабря 2024 года китайцы тихонько выкатывают DeepSeek-V3. Сразу о ней пишут мало, но спустя пару недель люди начинают понимать, что это бомба замедленного действия.

Середина января 2025 года. Дональд Трамп легким движением руки подписывает указ о снятии всех ограничении на развитие искусственного интеллекта и на весь мир заявляет о вливании $500 млрд в развитие отечественных нейросетей.

Эхо от его речей быстро дошло до Поднебесной и спустя пару дней один из крупнейших банков Китая делает мощную денежную инъекцию ($140 млрд) в развитие местной передовой ИИ-системы.

27 января красный дракон нанес мощный удар по белоголовому орлу: успех DeepSeek спровоцировал обвал фондового рынка США на $1 трлн., а акции Nvidia таяли на глазах — Хуанг лишился $600 млрд.

В ночь с 27 на 28 января в битву вступил Alibaba со своей моделью Qwen2.5-VL — универсальный солдат, способный выполнять множество задач на приемлемом уровне.

Вечером 28 января инфополе заполнила еще одна нейрока QWEN-MAX от Alibaba, которая умеет все и на бенчмарках уничтожает даже DeepSeek.

Сэм Альтман в Твиттере написал, что его впечатлила DeepSeek, но «OpenAI, ОЧЕВИДНО, будет поставлять гораздо лучшие модели». Что ж, на словах он Лев Толстой.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.metrics import r2_score

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import PolynomialFeatures

from sklearn.metrics import r2_score