🧪 How-to: применить bootstrapping для оценки статистик

Когда данных немного или нет уверенности в распределении, bootstrapping приходит на помощь. Это техника, позволяющая оценить доверительные интервалы и стабильность метрик без строгих статистических предположений.

🚩 Что делать

Мы будем многократно пересэмплировать нашу выборку с возвращением и оценивать интересующую статистику (среднее, медиану, разницу, корреляцию и т.д.).

🚩 Шаги:

1️⃣ Импорт библиотек:

import numpy as np
from sklearn.utils import resample

2️⃣ Готовим данные:

data = np.array([12, 15, 14, 10, 8, 11, 13])  # пример

3️⃣ Запускаем бутстрэп:

boot_means = []

for _ in range(1000):  # количество повторений
    sample = resample(data, replace=True)
    boot_means.append(np.mean(sample))

4️⃣ Оцениваем результат:

conf_int = np.percentile(boot_means, [2.5, 97.5])
print(f"95% доверительный интервал для среднего: {conf_int}")

🚩 На что обратить внимание:
📍 Используйте не менее 1000 итераций для устойчивых результатов.
📍 При маленьких выборках возможны смещения и высокая дисперсия.
📍 Если данные сильно несбалансированы — будьте осторожны с интерпретацией.

🚩 Основные преимущества:
✔️ Гибкость — можно применять к любым статистикам, особенно если неизвестно теоретическое распределение.
✔️ Без предположений — не требует априорных знаний о распределении в популяции.
✔️ Надёжность — работает даже при небольшом объёме выборки.

Библиотека дата-сайентиста #буст

🧩 Фишка: 8 типов AI-моделей, которые стоит знать

Не весь искусственный интеллект — это ChatGPT.
Сегодня в ИИ-экосистеме используются разные архитектуры, и каждая заточена под конкретный тип задач.

Вот ключевые типы моделей и для чего они подходят:

🔎 «LLM» — Large Language Models
Большие языковые модели.
🟡 Что делают: генерируют текст, отвечают на вопросы, пишут статьи, резюмируют.
✅ Примеры: GPT-4, Claude, Gemini, LLaMA.

🔎 «LCM» — Latent Concept Models
Модели скрытых концептов.
🟡 Что делают: находят глубокие зависимости и «смыслы» в данных, которые не видны напрямую.
✅ Применение: интерпретация решений моделей, выявление причин/паттернов в данных (например, в медицине или финансах).

🔎 «LAM» — Language Action Models
Модели языка и действий.
🟡 Что делают: понимают инструкции на естественном языке и сразу выполняют действия (например, бронируют, пересылают, настраивают).
✅ Применение: агенты, автоматизация процессов, управление интерфейсами.

🔎 «MoE» — Mixture of Experts
Модель со множеством «экспертов» внутри.
🟡 Что делают: на каждый запрос активируют только нужную часть модели — эффективнее и быстрее.
✅ Применение: масштабируемые модели без потери качества. Используется в Gemini и Switch Transformer.

🔎 «VLM» — Vision-Language Models
Мультимодальные модели (изображения + текст).
🟡 Что делают: интерпретируют визуальную информацию вместе с текстовой.
✅ Примеры: GPT-4V, Gemini, Kosmos, LLaVA.
✅ Задачи: подписи к изображениям, визуальный поиск, анализ UI, документация.

🔎 «SLM» — Small Language Models
Компактные языковые модели.
🟡 Что делают: быстрее, легче, дешевле. Жертвуют масштабом ради скорости и автономности.
✅ Примеры: Mistral 7B, Phi-2, TinyLLaMA.
✅ Используются в мобильных, edge- и офлайн-устройствах.

🔎 «MLM» — Masked Language Models
Обучение на «пропусках» (масках).
🟡 Что делают: предсказывают скрытые слова → улучшают понимание контекста.
✅ Примеры: BERT, RoBERTa.
✅ Идеальны для классификации, поиска, исправления текста.

🔎 «SAM» — Segment Anything Model
Модель «укажи — и вырежу».
🟡 Что делает: сегментирует любой объект на изображении по клику.
✅ Пример: SAM от Meta.
✅ Применение: дизайн, медицина, роботика, редактирование изображений.

Библиотека дата-сайентиста #буст

🧱 От модели к продукту: инженерная сторона ML в продакшене

Многие думают, что ML = модель.
На деле — модель = лишь 5–10% всей ML-системы.

📍 Как обрабатывать фичи в real-time?
📍 Как хранить версии данных и моделей?
📍 Где тонко рвётся пайплайн в проде?
📍 Что нужно для стабильного inference на высоких нагрузках?

Мы разобрали:
— основные компоненты бэкенда для ML-систем
— типовые архитектурные схемы
— частые ошибки в продакшене
— лучшие практики из MLOps и data engineering

📖 Читайте статью:
«Бэкенд под ML-проекты: особенности архитектуры и типичные узкие места»
→ https://proglib.io/sh/xCfXt2pH4j

Библиотека дата-сайентиста #буст

✈️ Свежие новости из мира AI и Data Science

🔥 Модели, релизы и технологии:
— BAGEL от ByteDance — мультимодальная open-source модель: текст, изображение и всё вместе
— Mistral Agents API — новый API для сборки AI-агентов: просто, мощно, гибко
— FlowTSE — извлекает голос нужного спикера из шумной записи с несколькими говорящими

🧠 Статьи, исследования и лучшие практики:
— Мэтчинг по-научному — алгоритм подбора работодателей и кандидатов от Авито
— Python и древние фрески — цифровая реставрация с помощью ML
— Новая маршрутизация от Яндекса — алгоритмы для пешеходов и велосипедистов
— Редактор от Сбера — точечное редактирование изображений словами

📘 Обучение и развитие:
— Установка драйверов NVIDIA — полезная шпаргалка для ML-серверов
— CV/ML-проект с нуля до продакшена — практическое руководство
— Yambda от Яндекса — крупнейший датасет для развития рекомендательных систем

Библиотека дата-сайентиста #свежак

💫 Топ-вакансий для дата-сайентистов за неделю

Senior Data Scientist (classic ML), удалёнка

Senior Data Engineer, удалёнка

Quantitative Researcher —‍ от 5 000 до 10 000 $, офис (Армения, ОАЭ, Кипр)

Системный аналитик (Big Data), удалёнка

Аналитик GPT-моделей (Алиса) —‍ от 300 000 до 490 000 ₽, удалёнка

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

⚡️ Narwhals: универсальные функции для любых DataFrame

С Narwhals можно писать функции, которые работают с разными библиотеками данных — pandas, polars, DuckDB, PySpark и даже PyArrow, без лишних зависимостей.

✅ Пример: группируем данные по месяцам и считаем среднюю цену

import narwhals as nw
from narwhals.typing import IntoFrameT

def agnostic_function(df_native: IntoFrameT, date_column: str, price_column: str) -> IntoFrameT:
    return (
        nw.from_native(df_native)
        .group_by(nw.col(date_column).dt.truncate("1mo"))
        .agg(nw.col(price_column).mean())
        .sort(date_column)
        .to_native()
    )

Работает и с pandas:

import pandas as pd
from datetime import datetime

data = {
    "date": [datetime(2020, 1, 1), datetime(2020, 1, 8), datetime(2020, 2, 3)],
    "price": [1, 4, 3],
}
print(agnostic_function(pd.DataFrame(data), "date", "price"))

И с Polars:

import polars as pl

print(agnostic_function(pl.DataFrame(data), "date", "price"))

👌 Подробные примеры можно посмотреть в статье: https://clc.to/RytBgA

Библиотека дата-сайентиста #буст