X_support = np.linspace(X_min, X_max, num=100)

Y_model = w[0][0] + w[1][0] * X_support

plt.figure(figsize=(8, 6)) # Создает график размером 8x6 дюймов

plt.xlim(X_min, X_max)

plt.ylim(0, Y[:, 0].max() + margin)

plt.scatter(X[:, 1], Y[:, 0], color='green', label='Исходные данные')

plt.plot(X_support, Y_model, color='blue', label='Линейная регрессия')

plt.xlabel('Площадь дома') # Подписываем оси
plt.ylabel('Цена дома') # Подписываем оси
plt.title('Линейная регрессия: Цена дома от площади') # Заголовок
plt.legend() # Добавляем легенду
plt.grid() # Сетка на графике

plt.show() # Вызываем наш график

import numpy as np
from numpy.linalg import inv
import matplotlib.pyplot as plt

# Данные
X = np.array([[1, 50], [1, 60], [1, 70], [1, 100]])
Y = np.array([[10], [30], [40], [50]])

# Матрица X_T_X и обратная матрица
X_T_X = (X.T).dot(X)
X_T_X_inverted = inv(X_T_X)

# Коэффициенты w
w = X_T_X_inverted.dot(X.T).dot(Y)
print('w_1=%.5f, w_2=%.3f' % (w[0][0], w[1][0]))

# Построение линейной модели
margin = 10
X_min = X[:, 1].min() - margin
X_max = X[:, 1].max() + margin

# Поддержка для прямой
X_support = np.linspace(X_min, X_max, num=100)
Y_model = w[0][0] + w[1][0] * X_support

# Настройка графика
plt.figure(figsize=(8, 6))
plt.xlim(X_min, X_max)
plt.ylim(0, Y[:, 0].max() + margin)

# Точки данных
plt.scatter(X[:, 1], Y[:, 0], color='red', label='Исходные данные')

# Прямая регрессии
plt.plot(X_support, Y_model, color='blue', label='Линейная регрессия')

# Добавление подписей
plt.xlabel('Площадь дома')
plt.ylabel('Цена дома')
plt.title('Линейная регрессия: Цена дома от площади')
plt.legend()
plt.grid()

plt.show()

Метод наименьших квадратов (МНК) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от экспериментальных входных данных.

import numpy as np
from numpy.linalg import inv

# Матрица X и вектор Y
X = np.array([[1, 50], [1, 60], [1, 70], [1, 100]])
Y = np.array([[10], [30], [40], [50]])

# Вычисление X^T * X
X_T_X = (X.T).dot(X)

# Обратная матрица (X^T * X)^-1
X_T_X_inverted = inv(X_T_X)

# Вычисление w = (X^T * X)^-1 * X^T * Y
w = X_T_X_inverted.dot(X.T).dot(Y)

print('w_1=%.5f, w_2=%.3f' % (w[0][0], w[1][0]))

import numpy as np
from numpy.linalg import inv

# Матрица X и вектор Y
X = np.array([[1, 50], [1, 60], [1, 70], [1, 100]]) # Второй столбец это площади наших хат
Y = np.array([[10], [30], [40], [50]]) 

X_T_X = (X.T).dot(X)

X_T_X_inverted = inv(X_T_X)

w = X_T_X_inverted.dot(X.T).dot(Y)

print('w_1=%.5f, w_2=%.3f' % (w[0][0], w[1][0]))

w_1=-17.50000, w_2=0.714

from sklearn import linear_model
reg = linear_model.LinearRegression()
reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
reg.coef_

array([0.5, 0.5])

reg = linear_model.LinearRegression() #Создаем объект класса LinearRegression

reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2]) #fit - метод для обучения модели на данных, сначала идут признаки X, затем [0, 1, 2], это значения, которые наша модель и должна предсказать 

reg.coef_

array([0.5, 0.5])

def ndprint(a, format_string = '{0:.2f'):
  ''' Функция для вывода наших списков'''
  return [format_string.format(v,i) for i, v in enumerate(a)]

from sklearn.datasets import fetch_california_housing

# Загружаем наш датасет
california_dataset = fetch_california_housing()

# Здесь мы извлечем данные (признаки или фичи)
features = california_dataset.data

print(features) 

{'data': array([[   8.3252    ,   41.        ,    6.98412698, ...,    2.55555556,
          37.88      , -122.23      ],
       [   8.3014    ,   21.        ,    6.23813708, ...,    2.10984183,
          37.86      , -122.22      ],
       [   7.2574    ,   52.        ,    8.28813559, ...,    2.80225989,
          37.85      , -122.24      ],
       ...,
       [   1.7       ,   17.        ,    5.20554273, ...,    2.3256351 ,
          39.43      , -121.22      ],
       [   1.8672    ,   18.        ,    5.32951289, ...,    2.12320917,
          39.43      , -121.32      ],
       [   2.3886    ,   16.        ,    5.25471698, ...,    2.61698113,
          39.37      , -121.24      ]]), 'target': array([4.526, 3.585, 3.521, ..., 0.923, 0.847, 0.894]

from sklearn.datasets import fetch_california_housing

# Загружаем датасет
california_dataset = fetch_california_housing()

# Извлекаем данные (признаки)
features = california_dataset.data

print(features.shape)  # Проверка размера данных

(20640, 8)

(MedInc: Средний доход в районе.
HouseAge: Средний возраст домов в районе
AveRooms: Среднее количество комнат на дом.
AveBedrms: Среднее количество спален на дом.
Population: Население района
AveOccup: Среднее количество жителей на дом
Latitude: Географическая широта.
Longitude: Географическая долгота

from sklearn.datasets import fetch_california_housing 
from numpy.linalg import inv # Импортируем функцию inv для обратной матрицы

Это объект, похожий на словарь, но с доступом к элементам в стиле атрибутов вместо пар ключ-значение. Объекты типа bunch используются для загрузки данных в библиотеке Scikit-Learn. Они представляют собой аналог словаря, но с возможностью динамического добавления и удаления атрибутов.

california_dataset = fetch_california_housing()

🟰.data — массив с признаками (многомерный массив, где каждая строка соответствует одному району, а каждый столбец — одному признаку).

🟰.target — целевая переменная (стоимость домов).

🟰.feature_names — список названий признаков.

🟰.DESCR — описание набора данных.

features = california_dataset.data

from sklearn.datasets import fetch_california_housing

# Загружаем датасет
california_dataset = fetch_california_housing()

# Извлекаем данные (признаки)
features = california_dataset.data

print(features.shape) 

#Вывод: 
#(20640, 8)

from sklearn.datasets import fetch_california_housing
from numpy.linalg import inv  

california_dataset = fetch_california_housing()

features = california_dataset.data
y = california_dataset.target

print(features[:2])

#Вывод: 
'''
[[ 8.32520000e+00  4.10000000e+01  6.98412698e+00  1.02380952e+00
   3.22000000e+02  2.55555556e+00  3.78800000e+01 -1.22230000e+02]
 [ 8.30140000e+00  2.10000000e+01  6.23813708e+00  9.71880492e-01
   2.40100000e+03  2.10984183e+00  3.78600000e+01 -1.22220000e+02]]
'''

y = california_dataset.target

y = california_dataset.target

y.shape

'''
Вывод: (20640,)

'''

y = california_dataset.target

print(y[:2])

'''
Вывод: array([4.526, 3.585]) (Это значит, что в первом районе средняя стоимость домов примерно $4526, а во втором районе — $3585

'''

⚙️ features (признаки) — это наши независимые переменные, которые используются для обучения модели

⚙️ y (целевая переменная) — это то, что мы хотим предсказать, используя признаки

import numpy as np

array = np.array([[1, 2, 3], [4, 5, 6]])

print(array.shape)

'''
Вывол: (2,3) -- 2 строки и 3 столбца

'''

def ndprint(a, format_string = '{0:.2f'):
  ''' Функция для вывода наших списков'''
  return [format_string.format(v,i) for i, v in enumerate(a)]

print('Аналитически определенные коэффициенты \n%s' % ndprint(w))

def ndprint(a, format_string = '{0:.2f'):
  ''' Функция для вывода наших списков'''
  return [format_string.format(v,i) for i, v in enumerate(a)]

print('Аналитически определенные коэффициенты \n%s' % ndprint(w))

‼️ Повторюсь, но лишним не будет, Y — это целевое значение (то, что мы ищем, у нас это средняя стоимость хаты), наши иксы (x) — это входные признаки (число комнат), w₀ — это смещение (фиксированный базовый уровень предсказания), w₁ w₂ и другие 'вешки' — это коэффициенты весов для каждого признака (то, что мы и выводим).

1️⃣ Чем больше абсолютное значение коэффициента w, тем больше влияние этого признака на предсказание

2️⃣ Если w = 0, это значит, что признак никак не влияет на 𝑌

def ndprint(a, format_string = '{0:.2f}'):
  ''' Функция для вывода наших списков'''
  return [format_string.format(v,i) for i, v in enumerate(a)]

from sklearn.datasets import fetch_california_housing
from numpy.linalg import inv
import numpy as np

california_dataset = fetch_california_housing()

features = california_dataset.data

y = california_dataset.target

w = inv(
  (features.T).dot(features)
).dot(
   features.T
).dot(
    y
)

print('Аналитически определенные коэффициенты \n%s' % ndprint(w))

Аналитически определенные коэффициенты 
['0.51', '0.02', '-0.18', '0.87', '0.00', '-0.00', '-0.06', '-0.02']