🐸 Библиотека дата-сайентиста

🆕 Свежие новости для дата‑сайентистов

⚙️ Модели и технологии
— OpenAI снижает стоимость инференса на 75% — новый формат данных MXFP4 позволяет размещать 120B-параметрическую модель на 80 GB VRAM.
— Attention Sinks: как стабилизировать LLM — MIT показали, что первые 4 токена можно использовать как якоря внимания.
— Hugging Face выпустила AI Sheets — можно обогащать/трансформировать датасеты с помощью моделей (включая gpt-oss).
— Mistral Medium 3.1 — улучшены reasoning, кодирование и мультимодальность.
— LangExtract (Google) — Python-библиотека, которая превращает произвольный текст в структурированные данные.
— Byte Latent Transformer (Meta) — модель начинает с сырых байтов и сама учится группировать их.
— Gemma 3 270M (Google) — мини-версия открытой Gemma, заточенная под скорость и небольшие задачи.
— TRIBE от Meta — тримодальная модель (видео + аудио + текст), которая на 30 % лучше предсказывает реакцию человеческого мозга при просмотре фильмов.

🔍 Исследования и гайды
— AI research interviews — опыт устройства в OpenAI, советы и инсайты.
— Prompt migrator + optimizer для GPT-5 — OpenAI добавила инструмент миграции/оптимизации промптов прямо в Playground.
— DINOv3 (Meta) — масштабируемая self-supervised модель для изображений (веб, спутники и т.д.), state-of-the-art без размеченных данных.

🐸 Библиотека дата-сайентиста

#свежак

🐸 Библиотека задач по Data Science

💻 Топ-вакансий для дата-сайентистов за неделю

Data Engineer — от 280 000 до 350 000 ₽, гибрид (Москва, Санкт-Петербург)

ML-разработчик (ML для авторов в VK Видео) — от 350 000 ₽, гибрид (Москва)

GIS Data Engineer / Analyst (Middle+, 25h/w) — от 2100 до 2600 $, удалёнка

Data Engineer — от 250 000 до 300 000 ₽, удалёнка

LLM Engineer \ ML инженер — до 350 000 ₽, удалёнка

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

🐸 Библиотека дата-сайентиста

How to: инициализация весов в нейросетях (Xe vs He)

Как задать правильную стартовую точку обучения, чтобы сеть не «затухла» и не «взорвалась»? Ниже — краткая шпаргалка по двум основным алгоритмам инициализации: Xavier и He.

🔎 Xavier (Glorot)
— Подойдёт, если используете Tanh или Sigmoid

Дисперсия весов:

Var[w_i] = 2 / (n_in + n_out)

— Балансирует входы и выходы слоя
— Хорошо работает с симметричными активациями
— С ReLU часто умирают половина нейронов → обучение замедляется

🔎 He (Kaiming)
— Подойдёт для ReLU / GELU / Leaky ReLU

Дисперсия весов:

Var[w_i] = 2 / n_in

— Учитывает, что часть активаций обнуляется
— Специально заточен под ReLU-подобные функции
— Стал стандартом (ResNet, ViT, GPT-подобные модели)

PyTorch реализация:

nn.init.xavier_uniform_(layer.weight)                      # Xe
nn.init.kaiming_uniform_(layer.weight, nonlinearity='relu') # He

Вывод:
— ReLU и его модификации → берите He.
— Tanh/Sigmoid → выбирайте Xavier.
— Если сомневаетесь — He почти всегда будет безопасным выбором.

🐸 Библиотека дата-сайентиста

#буст

🌟 Визуализация эмбедингов прямо в браузере

Embedding Atlas — это облако из миллионов векторов, которое не просто красиво двигается, а позволяет кликнуть на любую точку → найти похожие данные → отфильтровать по нужному классу → мгновенно увидеть структуру датасета.

И всё это — локально, прямо в браузере, без отправки данных на сервер, с поддержкой WebGPU.

Основные фичи:
✅ Автоматические кластеры с подписью и контурами плотности.
✅ Четкая визуализация без «каши» из точек (order-independent transparency).
✅ Поиск ближайших соседей и мгновенное выделение похожих данных.
✅ Фильтры по метаданным — выбирайте класс на гистограмме, и визуализация оставит только нужные точки.

Как использовать:
✅ Python-пакет: командная строка, Jupyter виджет, Streamlit компонент.
✅ Npm-пакет: встроенные UI-компоненты для веб-приложений: Table, EmbeddingView, EmbeddingAtlas.

💡 Если вы работаете с ML, LLM, данных или просто любите красивые визуализации — сохраните этот инструмент, он вам точно пригодится.

✔️ Страница проекта
✔️ Документация
📱 GitHub

🐸 Библиотека дата-сайентиста

#буст

📄 RAG-ready из любого документа за пару строк

Реальные документы слишком сложные для прямой работы LLM. Tensorlake превращает неструктурированные данные в RAG-ready формат всего за пару строк кода.

Что умеет Tensorlake:
👉 Работает с документами, изображениями, CSV, презентациями и др.
👉 Поддержка сложных макетов, рукописных заметок и мультиязычных данных.
👉 Возвращает layout документа, классификацию страниц, bounding boxes и многое другое.
👉 Можно задавать JSON-схему для извлечения нужных данных.

⚡️ Мгновенно готово к работе с LLM и retrieval pipelines!

📱 GitHub

🐸 Библиотека дата-сайентиста

#буст

⭐ gpt-oss, Qwen, Gemma — один гайд, чтобы запускать и тюнить всё

Вышел подробный туториал по тому, как запускать и дообучать gpt-oss (LLM) локально.

Что внутри:
• FAQ по локальному обучению + инференсу
• Подбор гиперпараметров и как не словить overfitting
• Подготовка данных
• Экспорт модели в GGUF (llama.cpp) и загрузка в Hugging Face

Дополнительно на этой странице есть другие туториалы:
• Qwen3 / Qwen3-Coder — запуск локально
• Kimi-K2
• Llama 4
• Vision fine-tuning
• RL & TTS fine-tuning

Особенно крутая часть — vision fine-tuning:
— можно дообучать мультимодальные модели (Gemma 3, Llama 3.2 Vision, Qwen2.5 VL и др.)
— выбирать, какие именно части модели дообучать (vision / language / attention / MLP)

🔗 Ссылка на туториалы

🐸 Библиотека дата-сайентиста

#буст

📊 Шпаргалка для машинного обучения: 10 алгоритмов и их временная сложность — всегда под рукой.

🐸 Библиотека дата-сайентиста

#буст

🚕 Как лог-трансформация спасла модель

Наш подписчик поделился лайфхаком, который снизил ошибку модели на 20% всего одной строкой кода.

В задаче регрессии (например, предсказание стоимости поездок Uber) оказалось, что таргет (fare) сильно скошен вправо: много маленьких значений + редкие, но вполне реальные высокие цены.

❌ Модели сложно учиться: редкие большие значения «тянут» распределение и портят общую картину.

➖ Простое решение — применить log1p к целевой переменной:
— большие значения сжимаются;
— малые почти не меняются;
— распределение становится ближе к нормальному;
— влияние «хвоста» снижается.

Схема:

y → log1p → модель → предсказания (log scale) → expm1 → предсказания (ориг. масштаб)

💡 Результат: MAE снизился на 20%.

Не магия, а классика — но про этот приём часто забывают. Если таргет имеет длинный правый хвост → лог-трансформация может резко улучшить качество.

🐸 Библиотека дата-сайентиста

#междусобойчик