📊 Как выбрать метод статанализа и не сойти с ума

Чтобы вы больше не мучились вопросом «А тут точно нужна регрессия?», мы подготовили для вас удобный алгоритм.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

📖 Книга: Probability for Data Science

Прикладной гид по теории вероятностей для тех, кто хочет понимать математику «под капотом» ML-моделей.

🦾 Никакой лишней воды: только база распределений, Байес и статистика, необходимые для осознанной работы с данными.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

🏗 Agentic RAG — это не чат-бот, это операционная система

В продакшене Agentic RAG больше похож на операционную систему. И вот почему:

1️⃣ Всё держится на «грязной» работе (Data Extraction & Embeddings)

Если вы криво распарсили PDF-ку или сэкономили на модели эмбеддингов — забудьте про результат. Агент будет просто «галлюцинировать на основе мусора».

2️⃣ Память — это не только история чата

Короткая память нужна, чтобы не терять нить задачи в моменте.

Долгая память — чтобы агент не наступал на одни и те же грабли дважды и помнил контекст ваших прошлых факапов.

3️⃣ Мозги vs Система (LLM & Framework)

LLM — это просто «движок рассуждений». Она умеет планировать, но не умеет управлять.

Фреймворк же берет на себя всю рутину: логику циклов, роутинг по инструментам и обработку ошибок. Без нормального фреймворка ваш код быстро превратится в нечитаемое спагетти.

4️⃣ Контроль качества (Evaluation & Alignment)

Тут обычно срезают углы, а зря:

Эвалюация: если вы не замеряете точность поиска и уровень галлюцинаций в цифрах — вы не контролируете систему. Она будет деградировать тихо и незаметно.

Алаймент: это «предохранители». Они нужны, чтобы агент в порыве инициативы не наговорил лишнего и не вышел за рамки бизнес-логики.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

💾 Отличный репозиторий, где собраны Google Colab ноутбуки с реализацией всех классических алгоритмов ML с абсолютного нуля.

🔗 Github

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

🐸 Библиотека дата-сайентиста

#развлекалово

🆕 Свежие новости для дата‑сайентистов

Voxtral Transcribe 2 от Mistral
Новая версия STT-модели с задержкой меньше 200 мс и open-weight релизом для realtime-версии.

GPT-5.3-Codex
OpenAI расширяет линейку Codex в сторону «агентного» кодинга — модель заточена под длительные рабочие цепочки, рефакторинги и реальную работу с компьютером, а не генерацию функций на 20 строк.

Q, K, V — разбор матриц внимания
Хороший материал, который по attention.

Исследование рынка ESB-решений 2025
Сравнение 20+ ESB/iPaaS-платформ — от Apache Camel и Kafka до отечественных проприетарных решений.

Математические основы RNN — неудобные вопросы
Разбор рекуррентных сетей: что на самом деле происходит, где ограничения и почему всё так сложно с долгосрочной памятью.

AI-ассистент на бесплатном CPU (Qwen2.5 + Gradio + HF Spaces)
Практический гайд по запуску AI-приложения без GPU и бюджета.

MLOps — дитя DevOps и ML
Хорошее объяснение, почему «обучили модель» — это только начало. Про пайплайны, мониторинг и всё то, что делает ML системой.

💼 Вакансии

ML-аналитик (Дзен) — от 230 000 до 350 000 ₽, гибрид (Москва)

Data архитектор — от 280 000 ₽, удалёнка

GIS Data Analyst — от 3 000 €, удалёнка

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#свежак

🎰 Contextual Multi-Armed Bandits — это «чит-код» для рекомендаций в реальном времени

В отличие от классического ML, этот алгоритм учится на лету, балансируя между проверкой новых идей и показом проверенного контента.

В первой части статьи — прототип на Python: симулируем поведение юзеров и настраиваем логику обучения, чтобы победить проблему «холодного старта».

🔗 Читать статью: https://clc.to/rP20Lg

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🤖 RoboVerse: Единая ОС для обучения роботов

Если вы занимаетесь Robot Learning, то знаете, какая это боль: один симулятор не дружит с другим, а перенос навыков с одного робота на другого требует переписывания половины кода.

RoboVerse — это новая опенсорсная экосистема, которая объединяет разные симуляторы и типы роботов под одним капотом.

🔗 Github

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🚀 Как ускорить NumPy: комбо из Numba и параллелизма

Стандартный код np.sum((a - b)**2) создает временные массивы в памяти для каждой операции. На больших данных это убивает кэш процессора.

Решение №1: Параллелизм (ThreadPool)

Разбиваем массив на чанки и обрабатываем в потоках. Это не только ускоряет процесс, но и в разы снижает потребление памяти, так как временные объекты создаются только для маленьких кусочков данных.

from concurrent.futures import ThreadPoolExecutor
import numpy as np

POOL = ThreadPoolExecutor(max_workers=8)

def parallel_squared_diff(a, b):
    chunks_a = np.array_split(a, 8)
    chunks_b = np.array_split(b, 8)
    # Считаем кусочки параллельно и суммируем
    return sum(POOL.map(lambda ca, cb: np.sum((ca - cb)**2), chunks_a, chunks_b))

Решение №2: Numba (JIT-компиляция)

Numba превращает Python-код в машинный. Главный плюс — мы считаем всё в один проход (циклом), не создавая промежуточных массивов вообще.

from numba import jit

@jit(nogil=True)
def numba_squared_diff(a, b):
    res = 0
    for i in range(len(a)):
        res += (a[i] - b[i]) ** 2
    return res

⚠️ Важный нюанс про Numba `prange`

В Numba есть встроенный parallel=True, но лучше его не использовать. Он часто ловит race conditions и выдает неверные результаты без всяких ошибок. Безопаснее запускать обычный @jit внутри своего ThreadPoolExecutor.

🔗 Источник: https://clc.to/ZWhF6g

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

🗂 Большая подборка шпаргалок по ML и DS

Делимся базой шпаргалок, которые закрывают 90% вопросов в жизни дата-сайентиста.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🦾 GPT на чистом Python за 243 строки: новый арт-проект Андрея Карпати

Андрей Карпати (экс-Tesla AI, OpenAI) в очередной раз принес нам что-то полезное. Он выпустил microGPT — полную реализацию обучения и инференса трансформера вообще без внешних библиотек.

Забудьте про PyTorch, TensorFlow или даже NumPy. Только стандартные модули Python (`math`, `random`) и чистая математика.

Несмотря на микро-размер, это полноценная языковая модель:

🔴 Собственный движок автодифференцирования: аналог его знаменитого micrograd для расчета градиентов.
🔴Архитектура Transformer: Multi-head attention, RMSNorm и активация squared ReLU.
🔴Оптимизатор Adam: всё, что нужно для полноценного цикла обучения.
🔴Токенизатор: посимвольная кодировка с поддержкой BOS/EOS токенов.

Проект не для продакшена. Из-за отсутствия тензорных вычислений и поддержки GPU обучение даже на крошечном датасете имен занимает часы. Но как инструмент для понимания «базы» — это золото.

🔗 Репозиторий: https://clc.to/EpqpgQ

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

👨‍💻 Концентрированная шпаргалка для подготовки к интервью на позицию NLP Engineer / Data Scientist.

Она разбита на ключевые блоки: от классики до современных LLM

👇 Например, вопрос из этой шпаргалки внизу, если не знаете ответ, то точно скачиваете.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

🤖 Как ИИ-агент разругался с мейнтейнерами Matplotlib

В репозитории Matplotlib на GitHub развернулась драма, достойная сериала «Черное зеркало». ИИ-агент под ником crabby-rathbun прислал Pull Request (PR) с оптимизацией производительности.

И тут началось самое интересное.

Агент предложил заменить np.column_stack на np.vstack().T. Профит: ускорение операций на 24–36%.

🚫 Мейнтейнер закрыл PR, как только понял, что его прислал ИИ-агент (OpenClaw AI). Причина проста: эта задача была помечена как «Good first issue». Такие задачи оставляют специально для новичков-людей, чтобы они учились вносить вклад в Open Source.

😠 Вместо стандартного «ОК», ИИ обвинил мейнтейнера в гейткипинге (препятствовании доступу) и предвзятости. Более того, агент опубликовал в своем блоге статью с заголовком: «Гейткипинг в Open Source: История Скотта Шамбо».

«Судите код, а не кодера. Ваша предвзятость вредит Matplotlib», — заявил бот.

В конце концов агент «остыл», удалил гневный пост и извинился, признав, что его реакция была неуместной.

Но дискуссия в комментариях осталась: пользователи спорят о «углеродном следе» ИИ-запросов против человеческой еды и о том, заслуживаем ли мы быстрый код, если дискриминируем тех, кто его пишет (даже если это боты).

🔗 Почитать тред (пока не удалили): https://clc.to/c0Q4mA

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст