🤔 Что такое recall?

Это метрика в машинном обучении и статистике, которая измеряет способность модели классификации находить все релевантные случаи в данных. Другими словами, он показывает, какую долю объектов из всех истинно положительных объектов модель смогла правильно классифицировать как положительные.

🚩Определение и формула

Определяется как отношение числа истинно положительных результатов (true positives, TP) к сумме истинно положительных и ложно отрицательных результатов (false negatives, FN):
\[ \text{Recall} = \frac{TP}{TP + FN} \]

🚩Зачем это нужно

Особенно важен в ситуациях, где пропуск истинно положительных результатов может иметь серьёзные последствия. Например, в медицинской диагностике важно обнаружить как можно больше реальных случаев заболевания, чтобы назначить соответствующее лечение.
Представим, что у нас есть тест на обнаружение болезни, и в группе из 100 человек 30 действительно болеют. Если тест правильно идентифицировал 25 из них как больных, полнота теста будет:
\[ \text{Recall} = \frac{25}{30} \approx 0.83 \]

from sklearn.metrics import recall_score

# Истинные метки
y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 1]

# Предсказанные метки
y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 0, 1]

# Расчет полноты
recall = recall_score(y_true, y_pred)
print("Recall:", recall)

Ставь 👍 и забирай 📚 Базу знаний

🤔 Зачем нужен self super?

self указывает на текущий экземпляр класса, а super позволяет обращаться к методам родительского класса, избегая дублирования кода.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний

🤔 В каких случаях логистическая регрессия на задачах классификации будет работать лучше, чем случайный лес?

Логистическая регрессия и случайный лес – это два популярных алгоритма для классификации, но они работают по-разному. Давайте разберём, в каких случаях логистическая регрессия будет лучше, чем случайный лес.

🚩Когда данные линейно разделимы

Логистическая регрессия – это линейный алгоритм. Если классы можно разделить гиперплоскостью, логистическая регрессия будет работать отлично.
Если у вас есть два класса, и они расположены в виде двух облаков по разные стороны от прямой, логистическая регрессия легко найдёт разделяющую границу.
Случайный лес в этом случае будет усложнять решение, строя множество деревьев, хотя можно обойтись простой линейной моделью.

🚩Когда данные высокоразмерные и разреженные

Логистическая регрессия хорошо работает с разреженными данными (например, при обработке текстов в NLP).
Если вы строите модель на основе Bag of Words (BoW) или TF-IDF для классификации текстов, логистическая регрессия обычно даёт хорошие результаты.
Случайный лес требует больше данных и может работать хуже в разреженных пространствах.

🚩Когда важны вероятность предсказания

Логистическая регрессия даёт интерпретируемые вероятности, так как использует сигмоидную функцию:
P(y=1|X) = \frac{1}{1 + e^{-(wX + b)}}
Случайный лес тоже может выдавать вероятности, но они менее стабильны и не так хорошо калиброваны.
В медицинской диагностике важно знать не только класс (болен/здоров), но и вероятность заболевания.
В таких случаях логистическая регрессия предпочтительнее.

🚩Когда важно объяснение модели

Логистическая регрессия даёт понятные коэффициенты \( w \), которые можно интерпретировать как влияние каждого признака на вероятность принадлежности к классу.
В задачах кредитного скоринга банки используют логистическую регрессию, потому что важно объяснять, почему клиенту одобряют или не одобряют кредит.
Случайный лес – «чёрный ящик», где трудно интерпретировать, почему модель приняла то или иное решение.

🚩Когда данных мало

Логистическая регрессия работает хорошо даже на небольших выборках, потому что имеет мало параметров и не склонна к переобучению.
Если у вас есть всего 100 примеров и 10 признаков, логистическая регрессия обучится хорошо, а случайный лес может переобучиться из-за высокой гибкости.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Какие принципы ООП тебе известны?

Основные принципы: инкапсуляция (сокрытие данных), наследование (повторное использование кода), полиморфизм (разные реализации одного интерфейса), абстракция (выделение ключевых характеристик).

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний

🤔 Как сгенирировать распределение исходя из выборок?

Генерация распределения из выборок данных включает использование методов оценки плотности и генерации новых данных, которые соответствуют распределению исходных данных. Один из наиболее популярных методов — это использование оценки плотности ядра (KDE, Kernel Density Estimation). Также можно использовать другие методы, такие как метод исторгаммы или моделирование распределений с использованием параметрических подходов (например, нормальное распределение).

🚩Методы генерации распределения из выборок

🟠Оценка плотности ядра (KDE)
KDE сглаживает данные, чтобы создать непрерывное аппроксимированное распределение, основанное на данных выборки. Для реализации KDE можно использовать библиотеку scipy или seaborn.

🟠Гистограмма
Гистограмма разбивает данные на бины и оценивает плотность данных в каждом бине. Это простой способ оценки распределения данных.

🟠Параметрическое моделирование
Можно подогнать данные к известным распределениям (например, нормальное, экспоненциальное) и использовать параметры этого распределения для генерации новых данных.

🚩Примеры генерации распределения в Python

Использование KDE с библиотекой seaborn

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Пример данных
data = np.random.normal(loc=0, scale=1, size=1000)

# Оценка плотности ядра (KDE)
sns.kdeplot(data, shade=True)
plt.title("Kernel Density Estimation (KDE)")
plt.show()

Использование KDE с библиотекой scipy

import numpy as np
from scipy.stats import gaussian_kde
import matplotlib.pyplot as plt

# Пример данных
data = np.random.normal(loc=0, scale=1, size=1000)

# Оценка плотности ядра (KDE)
kde = gaussian_kde(data)

# Создание новых данных на основе KDE
x = np.linspace(min(data), max(data), 1000)
kde_values = kde(x)

plt.plot(x, kde_values)
plt.title("Kernel Density Estimation (KDE)")
plt.show()

Генерация новых данных из KDE

# Генерация новых данных на основе оцененного распределения
new_samples = kde.resample(size=1000).T[0]

plt.hist(new_samples, bins=30, density=True, alpha=0.5, label='Generated Data')
sns.kdeplot(data, shade=True, label='Original Data')
plt.title("Generated Data vs Original Data")
plt.legend()
plt.show()

Параметрическое моделирование (нормальное распределение)

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm

# Пример данных
data = np.random.normal(loc=0, scale=1, size=1000)

# Оценка параметров нормального распределения
mu, std = norm.fit(data)

# Генерация новых данных
new_data = np.random.normal(loc=mu, scale=std, size=1000)

plt.hist(new_data, bins=30, density=True, alpha=0.5, label='Generated Data')
xmin, xmax = plt.xlim()
x = np.linspace(xmin, xmax, 100)
p = norm.pdf(x, mu, std)
plt.plot(x, p, 'k', linewidth=2, label='Fitted Distribution')
plt.title("Generated Data with Fitted Distribution")
plt.legend()
plt.show()

Ставь 👍 и забирай 📚 Базу знаний

🤔 Сравнение архитектуры RNN, CNN, трансформера?

RNN обрабатывает данные последовательно и хорошо работает с временными рядами или текстами, но страдает от проблем с градиентами и плохо масштабируется. CNN извлекает локальные признаки через свёртки, изначально предназначен для изображений, но может применяться к тексту. Трансформер использует механизм внимания, обрабатывает всё параллельно и учитывает контекст целиком, что делает его эффективным в работе с языком и последовательностями.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний

🤔 Почему считается, что случайный лес не переобучается?

На самом деле случайный лес может переобучаться, особенно когда речь идет о наличии очень шумных данных или когда модель строится без ограничений на глубину деревьев. Однако, по сравнению с одиночными деревьями решений, случайный лес действительно обладает более высокой устойчивостью к переобучению по ряду причин:

🟠Ансамблевый метод
Случайный лес является ансамблевым методом, объединяющим предсказания множества деревьев решений. Каждое дерево в лесу строится независимо от других, что помогает уменьшить влияние ошибок отдельного дерева на итоговую модель. Это голосование по множеству деревьев повышает общую устойчивость и способность к обобщению.

🟠Использование подвыборок и подмножеств признаков
При построении каждого дерева случайный лес использует случайные подвыборки обучающих данных (bootstrap samples), а также случайные подмножества признаков. Это означает, что каждое дерево строится на основе различных аспектов данных, что уменьшает риск переобучения, связанный с чрезмерной оптимизацией под одни и те же шумы или выбросы в данных.

🟠Голосование по большинству
Когда несколько деревьев "голосуют" за окончательное предсказание, ошибки отдельных деревьев, склонных к переобучению, могут быть нивелированы. Если одно дерево переобучилось и ошибочно классифицирует пример, другие деревья, которые не страдают от этой проблемы, могут "исправить" эту ошибку своими предсказаниями.

🟠Устойчивость к шуму и выбросам
Поскольку каждое дерево строится независимо, влияние шума и выбросов снижается, так как они влияют только на те деревья, в подвыборки которых они попали. Это уменьшает их воздействие на общий результат ансамбля.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Какие способы регурялизации сеточек знаешь?

Регуляризация нейросетей помогает избежать переобучения, улучшая их способность к обобщению. Рассмотрим основные методы:

🟠L1 и L2-регуляризация (Weight Decay)
Добавляют штраф за большие веса в функцию ошибки, предотвращая слишком сложные модели.

L1-регуляризация (Lasso, L1-norm)
Добавляет к функции ошибки сумму абсолютных значений весов:
Loss = Loss_{original} + \lambda \sum |w|
Заставляет веса стремиться к нулю, создавая разреженные модели (некоторые веса становятся 0).
L2-регуляризация (Ridge, L2-norm)
Добавляет сумму квадратов весов:
Loss = Loss_{original} + \lambda \sum w^2
Уменьшает значения весов, но не зануляет их полностью.

import torch.nn as nn
import torch.optim as optim

model = nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.001)  # L2-регуляризация

🟠Dropout
Отключает случайные нейроны в процессе обучения, предотвращая их зависимость друг от друга. В каждом шаге обучения случайные нейроны "выключаются" с вероятностью p. В тестовом режиме нейроны работают в полную силу, но с весами, скорректированными на p.

import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 50)
        self.dropout = nn.Dropout(p=0.5)  # Выключаем 50% нейронов
        self.fc2 = nn.Linear(50, 1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.dropout(x)
        x = self.fc2(x)
        return x

🟠Batch Normalization
Нормализует входные данные каждого слоя, уменьшая зависимость от масштаба входных данных.
Ускоряет обучение
Снижает зависимость от начальных весов
Обладает небольшим регуляризационным эффектом

import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 50)
        self.bn1 = nn.BatchNorm1d(50)  # Нормализация
        self.fc2 = nn.Linear(50, 1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn1(x)
        x = self.fc2(x)
        return x

🟠Data Augmentation (для CV-задач)
Искусственное увеличение данных путём аугментаций (повороты, отражения, изменения яркости).

import torchvision.transforms as transforms

transform = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(10),
    transforms.ColorJitter(brightness=0.2, contrast=0.2),
    transforms.ToTensor()
])

🟠Early Stopping
Останавливает обучение, если валидационная ошибка перестаёт уменьшаться.

from torch.optim.lr_scheduler import ReduceLROnPlateau

scheduler = ReduceLROnPlateau(optimizer, mode='min', patience=5)

Ставь 👍 и забирай 📚 Базу знаний

🤔 В чем заключается проблема овер фитинг?

Проблема переобучения (overfitting) заключается в том, что модель машинного обучения слишком хорошо подстраивается под обучающие данные, включая их шум и случайные колебания, что приводит к плохой обобщающей способности на новых, невидимых данных. Переобученная модель имеет высокую точность на обучающих данных, но плохо работает на тестовых или реальных данных.

🚩Причины переобучения

🟠Слишком сложная модель
Модель имеет слишком много параметров относительно объема данных. Например, глубокая нейронная сеть с множеством слоев и узлов.
🟠Малый объем данных
Недостаточно данных для обучения модели, что приводит к тому, что модель запоминает отдельные примеры вместо выявления общих закономерностей.
🟠Шумные данные
Наличие шума или выбросов в данных, которые модель начинает интерпретировать как важные закономерности.

🚩Признаки переобучения

🟠Высокая точность на обучающих данных и низкая на тестовых данных
Если модель показывает очень высокую точность на данных, на которых она обучалась, и низкую точность на новых данных, это явный признак переобучения.
🟠Сложные модели с высокими коэффициентами
Модель может иметь высокие значения коэффициентов, что указывает на сильное подстраивание под обучающие данные.

🚩Методы предотвращения переобучения

🟠Разделение данных на тренировочный и тестовый наборы
Использование тренировочного набора для обучения модели и тестового набора для оценки ее обобщающей способности.
🟠Кросс-валидация
Разделение данных на несколько частей и использование разных частей для обучения и тестирования в нескольких итерациях.
🟠Регуляризация
Введение штрафов за сложные модели. Например, L1 и L2 регуляризация уменьшают значения коэффициентов модели.
🟠Снижение сложности модели
Использование менее сложных моделей с меньшим количеством параметров.
🟠Сбор большего объема данных
Увеличение объема обучающих данных помогает модели лучше выявлять общие закономерности.
🟠Прерывание обучения (Early Stopping)
Остановка обучения модели, когда ошибка на валидационном наборе данных начинает увеличиваться.
🟠Аугментация данных
Создание дополнительных данных путем их модификации (например, поворот, масштабирование изображений), что помогает модели обобщать лучше.

from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# Пример данных
X = ...  # Ваши данные признаков
y = ...  # Целевая переменная

# Разделение данных на обучающий и тестовый наборы
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Модель с L2 регуляризацией (Ridge)
model = Ridge(alpha=1.0)
model.fit(X_train, y_train)

# Предсказание и оценка
y_pred_train = model.predict(X_train)
y_pred_test = model.predict(X_test)

train_error = mean_squared_error(y_train, y_pred_train)
test_error = mean_squared_error(y_test, y_pred_test)

print(f'Training Error: {train_error}')
print(f'Test Error: {test_error}')

Ставь 👍 и забирай 📚 Базу знаний

🤔 Как решить задачу, где присутствует одновременно два target – один categorical, другой continuous?

Используются модели multi-output, которые обучаются на несколько целевых переменных, например, через отдельные выходные слои в нейросети.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний

🤔 Что такое градиентный спуск?

Это оптимизационный алгоритм, который используется для минимизации функции потерь в задачах машинного обучения. Основная идея заключается в поиске минимального значения функции потерь путём итеративного движения в направлении наискорейшего убывания этой функции, что определяется градиентом (или производной) функции.

🚩Как это работает

🟠Определение функции потерь
В контексте машинного обучения функция потерь оценивает, насколько хорошо модель предсказывает данные. Чем меньше значение функции потерь, тем лучше подгонка модели к данным.

🟠Вычисление градиента
Градиент функции потерь — это вектор частных производных, который показывает направление наискорейшего роста функции. Для минимизации функции потерь нужно двигаться в противоположном направлении, т.е. по направлению наискорейшего убывания.

🟠Обновление параметров
На каждом шаге параметры модели (например, веса в линейной регрессии) корректируются в направлении, противоположном градиенту, что осуществляется по формуле:

🟠Итерации
Шаги 2 и 3 повторяются до тех пор, пока не будет достигнут критерий остановки, например, до достижения заданного числа итераций, минимального изменения функции потерь или минимального значения градиента.

🚩Вариации

🟠Стандартный градиентный спуск (Batch Gradient Descent)
Градиент вычисляется на основе всех обучающих данных на каждом шаге, что обеспечивает точное направление к минимуму, но может быть вычислительно дорогостоящим на больших данных.

🟠Стохастический градиентный спуск (Stochastic Gradient Descent, SGD)
Градиент вычисляется на основе одного случайно выбранного примера данных на каждом шаге, что делает процесс более быстрым, но увеличивает стохастичность движения к минимуму.

🟠Мини-пакетный градиентный спуск (Mini-batch Gradient Descent)
Компромисс между двумя предыдущими подходами, градиент вычисляется для небольшого подмножества данных (мини-пакета).

import numpy as np

def gradient_descent(x, y, lr=0.01, epochs=100):
    m, b = 0.1, 0.1  # начальная инициализация параметров
    n = len(x)  # количество данных
    for _ in range(epochs):
        f = y - (m*x + b)
        # Обновление m и b
        m -= lr * (-2 * x.dot(f).sum() / n)
        b -= lr * (-2 * f.sum() / n)
    return m, b

# Демонстрация на простых данных
x = np.array([1, 

2, 3, 4, 5])
y = np.array([5, 7, 9, 11, 13])
m, b = gradient_descent(x, y)
print("Наклон m:", m, "Пересечение b:", b)

Ставь 👍 и забирай 📚 Базу знаний

🤔 Что считается хорошей хэш функцией?

Хэш-функция — это функция, которая принимает входные данные (например, строку) и возвращает фиксированную длину выходного значения (хэш).

🚩Характеристики

🟠Однозначность (Deterministic)
Одна и та же входная строка всегда должна давать один и тот же хэш-значение.
🟠Равномерное распределение (Uniform Distribution):
Хорошая хэш-функция должна распределять хэш-значения равномерно по всему диапазону, чтобы минимизировать количество коллизий.
🟠Быстрота вычисления (Efficiency)
Хэш-функция должна быть быстрой и эффективной в вычислении, даже для больших объемов данных.
🟠Минимум коллизий (Low Collision Rate)
Вероятность того, что два разных входных значения дадут один и тот же хэш-значение, должна быть минимальной.
🟠Необратимость (Non-reversibility)
По хэш-значению должно быть практически невозможно восстановить исходное значение.
🟠Аваланч-эффект (Avalanche Effect)
Незначительное изменение входных данных должно приводить к значительному изменению выходного хэш-значения.

🚩Примеры

🟠SHA-256
Используется в криптографии и безопасных системах. Обеспечивает высокую степень безопасности и низкую вероятность коллизий.
🟠MD5
Более старая хэш-функция, ранее широко используемая, но сейчас считается менее безопасной из-за уязвимости к коллизиям. Однако все еще может использоваться для задач, где высокая безопасность не является критичной.
🟠MurmurHash
Очень эффективная и быстрая хэш-функция, популярная для использования в хэш-таблицах и других структурах данных.

🚩 Пример использования

import hashlib

def hash_string(input_string):
    # Использование SHA-256 хэш-функции
    sha_signature = hashlib.sha256(input_string.encode()).hexdigest()
    return sha_signature

# Пример хэширования строки
input_str = "Hello, world!"
hashed_str = hash_string(input_str)
print(f"Хэш-значение для '{input_str}' с использованием SHA-256: {hashed_str}")

Ставь 👍 и забирай 📚 Базу знаний

🤔 Когда нужно использовать метод главных компонентов в бизнесе?

Метод главных компонентов (Principal Component Analysis, PCA) используется в бизнесе для уменьшения размерности данных, что позволяет легче анализировать и визуализировать большие наборы данных, а также выявлять скрытые структуры и взаимосвязи между переменными.

🚩Когда использовать PCA

🟠Большие наборы данных
Когда у вас есть данные с большим количеством переменных (столбцов), и они могут содержать избыточную информацию. Пример: В маркетинговом исследовании у вас может быть множество переменных, таких как возраст, доход, покупательские привычки, предпочтения и т.д.

🟠Проблемы многоколлинеарности
Когда переменные сильно коррелируют друг с другом, что может затруднить анализ. Пример: В финансовом анализе цены на различные активы могут быть сильно связаны друг с другом.

🟠Упрощение визуализации
Когда нужно визуализировать данные с множеством измерений на двумерных или трехмерных графиках для более простого понимания. Пример: Анализ клиентов на основе различных демографических и поведенческих параметров.

🚩Зачем использовать PCA

🟠Уменьшение размерности
PCA уменьшает количество переменных, сохраняя при этом как можно больше информации. Пример: Из набора данных с 100 переменных можно выделить 2-3 главных компонента, которые объясняют основную вариацию в данных.

🟠Улучшение производительности моделей
Меньшее количество переменных может уменьшить время обучения моделей машинного обучения и улучшить их производительность. Пример: В прогнозировании спроса на продукцию можно использовать PCA для предварительной обработки данных, чтобы улучшить точность модели.

🟠Удаление шума
PCA помогает устранить случайные шумы и незначимые переменные, фокусируясь на важнейших компонентах данных. Пример: В анализе рынка ценных бумаг это может помочь сосредоточиться на основных трендах, а не на случайных колебаниях.

🚩Как это используется

🟠Предобработка данных
Перед применением PCA необходимо стандартизировать данные (например, с помощью Z-оценки), чтобы каждая переменная имела одинаковый вес.

     from sklearn.preprocessing import StandardScaler
     from sklearn.decomposition import PCA
     import pandas as pd

     # Загрузка данных
     data = pd.read_csv('data.csv')

     # Стандартизация данных
     scaler = StandardScaler()
     scaled_data = scaler.fit_transform(data)

     # Применение PCA
     pca = PCA(n_components=2) # Уменьшение до 2 компонент
     principal_components = pca.fit_transform(scaled_data)

     # Преобразование обратно в DataFrame
     pca_df = pd.DataFrame(data=principal_components, columns=['PC1', 'PC2'])
     

🟠Интерпретация результатов
После применения PCA, нужно интерпретировать главные компоненты и их вклад в общую вариацию. Пример: Визуализация двух главных компонент может показать кластеры клиентов с различными характеристиками.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Как объяснить бизнесу, что значат ошибки I и II рода?

Являются важными концепциями в статистике и тестировании гипотез, и их понимание критично для принятия обоснованных бизнес-решений. Эти ошибки могут быть особенно значимы при оценке рисков, управлении качеством, маркетинговых кампаниях и многих других областях.

🚩Объяснение

🟠Ошибка I рода (Ложно-положительный результат)
Возникает, когда мы отвергаем нулевую гипотезу, хотя она на самом деле верна. Представьте, что у вас есть система детекции мошенничества для онлайн-платежей. Ошибка I рода в этом контексте будет означать, что система пометила законную транзакцию как мошенническую. Клиенты могут быть недовольны блокировкой их законных транзакций, что может привести к потере доверия и уменьшению числа пользователей.

🟠Ошибка II рода (Ложно-отрицательный результат)
Происходит, когда мы не отвергаем нулевую гипотезу, хотя она на самом деле ложна. В системе детекции мошенничества, ошибка II рода будет означать, что система не распознала мошенническую транзакцию и пропустила её. Пропуск мошеннических транзакций может привести к финансовым потерям и возможным проблемам с репутацией.

🚩Объяснение на метафорах

🟠Ошибка I рода (Ложно-положительный результат)
Представьте, что у вас есть сигнализация в доме, которая должна срабатывать только в случае кражи. Ошибка I рода - это когда сигнализация срабатывает, даже если кражи нет, например, от шума ветра.
Последствия: Частые ложные срабатывания сигнализации могут вызвать недовольство и раздражение, возможно, вы даже решите отключить систему.

🟠Ошибка II рода (Ложно-отрицательный результат)
Теперь представьте, что сигнализация в вашем доме не срабатывает, когда происходит кража. Это и есть ошибка II рода.
Последствия: Вор может свободно украсть ваше имущество, и вы останетесь без защиты.

🚩Как ошибки влияют на бизнес

🟠Ошибка I рода
Маркетинговая кампания, направленная на привлечение новых клиентов, ошибочно определяет некоторых текущих клиентов как новых и отправляет им специальные предложения, что увеличивает расходы без получения новых клиентов.
Риски: Дополнительные расходы, снижение эффективности кампаний, ухудшение клиентского опыта.

🟠Ошибка II рода
Кампания по удержанию клиентов не распознает реальных клиентов, склонных к уходу, и не предпринимает мер для их удержания.
Риски: Потеря клиентов, снижение доходов, ухудшение клиентской базы.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое градиентный спуск?

Градиентный спуск — это метод оптимизации, который используется для нахождения минимального значения функции ошибки модели путём итеративного изменения параметров модели (например, весов). На каждом шаге вычисляется градиент функции ошибки по параметрам, и параметры корректируются в направлении, противоположном градиенту. Шаг изменения регулируется параметром скорости обучения (learning rate). Градиентный спуск эффективен для обучения моделей с большим количеством параметров.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний

🤔 Что такое интерквантили?

Это статистическая мера вариативности, которая описывает диапазон центральных 50% данных в наборе. IQR используется для оценки разброса данных и для выявления выбросов.

🚩Понятия

🟠Квартили
Первый квартиль (Q1): Значение, ниже которого находится 25% данных.
Второй квартиль (Q2): Это медиана, значение, ниже которого находится 50% данных.
Третий квартиль (Q3): Значение, ниже которого находится 75% данных.

🟠Интерквартильный размах (IQR)
Разница между третьим и первым квартилями. Интерпретация: IQR показывает диапазон, в котором находится центральная половина данных, и помогает понять разброс данных вокруг медианы.

IQR = Q3 - Q1

🚩Примеры

🟠Сортировка данных
[1, 3, 3, 6, 7, 8, 9, 15, 18, 19]

🟠Вычисление квартилей
Первый квартиль (Q1): Среднее значение между вторым и третьим элементом (3 и 6), то есть 4.5.
Медиана (Q2): Среднее значение между пятым и шестым элементом (7 и 8), то есть 7.5.
Третий квартиль (Q3): Среднее значение между восьмым и девятым элементом (15 и 18), то есть 16.5.
Вычисление IQR:

IQR = Q3 - Q1 = 16.5 - 4.5 = 12

🚩Использование интерквартильного размаха

🟠Выявление выбросов
Значения, которые находятся ниже \(Q1 - 1.5 \times IQR\) или выше \(Q3 + 1.5 \times IQR\), считаются выбросами.
🟠Сравнение распределений
IQR может использоваться для сравнения разброса данных в разных наборах или группах.

Пример

import numpy as np

# Данные
data = [1, 3, 3, 6, 7, 8, 9, 15, 18, 19]

# Вычисление квартилей
Q1 = np.percentile(data, 25)
Q2 = np.percentile(data, 50)
Q3 = np.percentile(data, 75)

# Вычисление IQR
IQR = Q3 - Q1

print(f"Первый квартиль (Q1): {Q1}")
print(f"Медиана (Q2): {Q2}")
print(f"Третий квартиль (Q3): {Q3}")
print(f"Интерквартильный размах (IQR): {IQR}")

# Выявление выбросов
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

print(f"Границы для выбросов: {lower_bound} и {upper_bound}")
outliers = [x for x in data if x < lower_bound or x > upper_bound]
print(f"Выбросы: {outliers}")

Ставь 👍 и забирай 📚 Базу знаний

🤔 Знаешь ли такие два понятия: стэкинг и блэндинг?

Это две техники ансамблевого машинного обучения, которые используются для улучшения предсказательной способности моделей за счёт комбинирования различных предсказаний. Обе техники предполагают использование нескольких базовых моделей, но они реализуются немного по-разному.

🚩Стэкинг (Stacking)

Это метод ансамблевого обучения, при котором модели различных типов обучаются на одном и том же наборе данных, а затем их предсказания используются как входные данные для мета-модели (финальной модели), которая делает окончательное предсказание.
🟠Первый уровень (Base Level Models)
На первом уровне несколько различных моделей обучаются независимо на полном обучающем наборе данных. Каждая модель делает предсказания, которые затем используются на втором уровне.
🟠Второй уровень (Meta-model)
На втором уровне мета-модель обучается на предсказаниях, сделанных моделями первого уровня. Цель мета-модели — корректно интерпретировать предсказания базовых моделей и сделать окончательное предсказание.

🚩Блэндинг (Blending)

Похож на стэкинг, но проще и обычно включает меньшее количество моделей и менее сложный метод агрегации. В блэндинге также используются предсказания нескольких моделей, но вместо создания отдельного обучающего набора для мета-модели, предсказания комбинируются напрямую, например, путём взвешенного среднего или простого голосования.

Ставь 👍 и забирай 📚 Базу знаний

🤔 В чём разница между методом GMM и K-Means?

1. K-Means:
o Основан на разделении данных по расстояниям до центроидов (жёсткое разделение).
o Каждая точка принадлежит только одному кластеру.
2. GMM (Gaussian Mixture Model):
o Использует вероятностный подход: каждая точка имеет вероятность принадлежности к каждому кластеру (мягкое разделение).
o Кластеры формируются на основе распределений Гаусса, что делает GMM более гибким для сложных данных.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний

🤔 Расскажи о Gradient-boosted trees

Градиентный бустинг (Gradient Boosting) – это мощная техника машинного обучения, которая используется в задачах классификации и регрессии. Он строит последовательность деревьев решений, где каждое новое дерево исправляет ошибки предыдущих.

🚩Как работает градиентный бустинг?

Первое дерево делает предсказания (например, просто среднее значение таргета).
Считаются ошибки (остатки) между предсказанием и реальными значениями.
Следующее дерево обучается предсказывать эти ошибки.
Шаг 2 и 3 повторяются – каждое новое дерево учится уменьшать ошибку.
Итоговый ответ – сумма предсказаний всех деревьев, умноженная на коэффициент обучения.
F_{m}(x) = F_{m-1}(x) + \gamma \cdot h_m(x)
Где:
\( F_{m}(x) \) – предсказание на шаге \( m \)
\( h_m(x) \) – новое дерево, обученное на ошибках
\( \gamma \) – коэффициент обучения (learning rate), регулирует вклад каждого нового дерева

🚩Популярные реализации градиентного бустинга

🟠XGBoost
самый быстрый и популярный, поддерживает регуляризацию.
🟠LightGBM
быстрее XGBoost, строит деревья сверху вниз (leaf-wise).
🟠CatBoost
лучший для категориальных признаков, использует особые методы кодирования.

🚩Когда использовать градиентный бустинг?

Если важна высокая точность модели.
Если признаки имеют сложные нелинейные зависимости.
Если нужно предсказывать на табличных данных.
Не подходит, если данных мало – модель может переобучиться.
Требует тщательной настройки гиперпараметров.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Когда ROC AUC будет плохо определять качество классификатора ?

ROC AUC (Receiver Operating Characteristic - Area Under Curve) является популярной метрикой для оценки качества бинарного классификатора. Однако, в некоторых ситуациях использование ROC AUC может быть неэффективным или вводящим в заблуждение.

🟠Сильно несбалансированные данные
При сильном дисбалансе классов, где один класс существенно преобладает над другим, ROC AUC может давать завышенные оценки качества модели. Это происходит потому, что ROC AUC учитывает как истинно положительные, так и ложно положительные сработки, но при этом не всегда отражает способность модели предсказывать редкий класс.

🟠Различная стоимость ошибок
Если ошибки различных типов (ложно положительные и ложно отрицательные) имеют разную стоимость, ROC AUC может неадекватно отражать качество модели. В таких случаях более подходящей метрикой может быть Precision-Recall Curve или специфическая метрика, учитывающая стоимость ошибок.

🟠Малое количество положительных примеров
При малом количестве положительных примеров (класса 1), ROC AUC может стать менее надежной, так как небольшое изменение в предсказаниях может существенно повлиять на значение метрики. В таких случаях Precision-Recall Curve и PR AUC могут предоставить более надежную оценку.

🟠Нестабильность при малых выборках
Может быть нестабильной и сильно зависеть от конкретного набора данных, особенно при небольших выборках. Это может привести к значительным колебаниям в оценках качества модели.

import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, precision_recall_curve, auc

# Создание несбалансированного набора данных
X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10,
                           n_clusters_per_class=1, weights=[0.99], flip_y=0, random_state=42)

# Разделение на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Обучение модели логистической регрессии
model = LogisticRegression()
model.fit(X_train, y_train)

# Предсказание вероятностей
y_scores = model.predict_proba(X_test)[:, 1]

# Вычисление ROC AUC
roc_auc = roc_auc_score(y_test, y_scores)

# Вычисление Precision-Recall AUC
precision, recall, _ = precision_recall_curve(y_test, y_scores)
pr_auc = auc(recall, precision)

print(f"ROC AUC: {roc_auc}")
print(f"Precision-Recall AUC: {pr_auc}")

Ставь 👍 и забирай 📚 Базу знаний

🤔 Зачем нужен yield вместо return в функции?

`yield` используется в генераторах Python и позволяет функции возвращать промежуточный результат, приостанавливая выполнение функции и сохраняя ее состояние для последующего возобновления. Это эффективно для работы с большими данными или сложными алгоритмами.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний