📺 Что посмотреть: Scaling Long Context and RAG от Google DeepMind

В свежем эпизоде «Release Notes» от Google DeepMind обсуждают масштабирование контекста и работу Retrieval-Augmented Generation (RAG) в длинных контекстных окнах.

💡 Ведущий — Логан Килпатрик, гость — Николай Савинов (DeepMind).

Они делятся инсайтами о:
➡️ проблемах с длинными контекстами,
➡️ подходах к улучшению моделей,
➡️ роли RAG в реальных сценариях,
➡️ и будущем long-context архитектур.

Особенно интересно, если вы работаете с LLM, памятью и retrieval-системами.

▶️ Смотреть: https://clc.to/c8DzRQ

Библиотека дата-сайентиста #буст

👍 Лучшие нейросети для написания научной статьи

Вы пишете диплом, диссертацию или научную публикацию?

Мы собрали топ сервисов с нейросетями, которые реально помогают:
✅ находить релевантные источники
✅ улучшать научный стиль
✅ структурировать аргументы
✅ экономить часы на оформлении

Эти инструменты берут на себя рутину, а вы — сосредотачиваетесь на смысле.

👉 Читайте подборку — и пишите легче: https://proglib.io/sh/T3Zd1EABgY

Библиотека дата-сайентиста

🦾🧠🏋Качаем мозги к лету!

Все качают пресс, а мы — мозги, чтобы получить крутой оффер, уехать на Бали и больше не быть онлайн 😎

⚡️Распродажа: с 10 до 12 мая — скидка 30% на все наши курсы!

➡️ Математика для Data Science 32 990 ₽ 23 090 ₽

➡️ Алгоритмы и структуры данных 39 590 ₽ 27 700 ₽

➡️ Основы программирования на Python 21 990 ₽ 15 390 ₽

Почему мы?

⭐️Курсы разрабатывались при поддержке топовых преподавателей из Яндекса, Сбера, МГУ
⭐️У нас есть менторы, которые поддерживают студентов на каждом этапе
⭐️Мы разбираем задачи с реальных собеседований в крупнейшие компании и готовим к поступлению в ШАД
⭐️Вход с любого уровня: например, на курсе математики сначала освежаем знания из школьной программы

Save the dates!

👨‍💻 Топ-вакансий для дата-сайентистов за неделю

Product Analyst, Relocation (Mexico/Serbia)

Deep Learning Engineer —‍ от 300 000 до 550 000 ₽, гибрид (Москва)

Senior-Lead Analyst, удаленка

Data analyst (Мiddle/Middle+), гибрид (Москва)

Senior Data Analyst, удалёнка (в РФ и за рубежом)

ML-разработчик (Генеративные E-com-сценарии / LLM) —‍ от 300 000 до 400 000 ₽, гибрид (Москва, Санкт-Петербург, Екатеринбург, Нижний Новгород)

Data Scientist в области языковых моделей (Middle) —‍ от 351 000 ₽, удалёнка (Москва, Санкт-Петербург, Екатеринбург, Нижний Новгород)

Data Analyst —‍ от 80 000 до 100 000 ₽, удалёнка

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

⏫ Как ускорить вычисления с массивами с помощью NumExpr

NumExpr — мощный инструмент для ускорения вычислений с массивами в Python, который может значительно повысить производительность при работе с большими данными и сложными математическими выражениями.

Преобразовать медленный цикл, который занимал 650 мс, в вычисление за 60 мс — это реальность с использованием NumExpr.

Вот как NumExpr ускоряет вычисления 🔽

1️⃣ Частичное выполнение в кэше

NumExpr избегает создания огромных временных массивов, разбивая их на части, соответствующие размеру кэша.

Эти части обрабатываются и передаются через легковесную виртуальную машину, что ускоряет выполнение и оптимизирует доступ к памяти.

2️⃣ Ускорение с помощью SIMD и VML

Использование инструкций SIMD (Single Instruction, Multiple Data) позволяет обрабатывать несколько элементов данных одновременно.

При доступности NumExpr использует библиотеку Intel Math Kernel Library (MKL) для трансцендентных функций (таких как sin(), cos(), exp()), что значительно повышает производительность.

3️⃣ Поддержка многозадачного масштабирования

NumExpr автоматически распределяет вычисления между всеми ядрами процессора. Это позволяет эффективно использовать мощности многозадачности, ускоряя вычисления даже при больших данных.

Для работы с NumExpr достаточно заменить стандартные операции NumPy на аналоги NumExpr:

import numexpr as ne
import numpy as np

# Пример массивов
a = np.random.random(1000000)
b = np.random.random(1000000)

# Обычная операция NumPy
result = np.sin(a) + np.cos(b)

# Эквивалент NumExpr
result_ne = ne.evaluate('sin(a) + cos(b)')

Библиотека дата-сайентиста #буст

📊 Промт дня: быстрый разведочный анализ (EDA) нового датасета

Перед тем как приступить к построению моделей или визуализаций, важно понять, с какими данными вы работаете. Разведочный анализ (Exploratory Data Analysis, EDA) помогает выявить структуру, качество и ключевые особенности датасета — это фундамент любого проекта в области аналитики и машинного обучения.

Промт:

Выполни экспресс-EDA (Exploratory Data Analysis) на pandas DataFrame. Проанализируй следующие аспекты:
• Определи типы переменных (числовые, категориальные и пр.).
• Проверь наличие и долю пропущенных значений по столбцам.
• Рассчитай базовые статистики (среднее, медиана, стандартное отклонение и т.д.).
• Оцени распределения признаков и выдели потенциальные выбросы.
• Сформулируй ключевые наблюдения и инсайты, которые могут повлиять на последующую обработку или моделирование данных.

🎯 Цель — получить общее представление о структуре, качестве и особенностях данных до начала построения моделей или визуализаций.

Поддерживается использование специализированных инструментов:
📝 pandas_profiling / ydata-profiling — для автоматического отчета,
📝 sweetviz — для визуального сравнения датасетов,
📝 seaborn и matplotlib — для точечных визуализаций распределений и корреляций.

Библиотека дата-сайентиста #буст

🤝 Hugging Face + Kaggle: улучшенный доступ к моделям для всех

Теперь Kaggle и Hugging Face тесно интегрированы:
➡️ Вы можете запускать модели Hugging Face напрямую в Kaggle-ноутбуках.
➡️ Kaggle автоматически создаёт страницы моделей на своей стороне, если их ещё нет.
➡️ Появилась централизованная точка для поиска моделей и примеров кода.

📤 Из Hugging Face в Kaggle:
1. Зайдите на страницу модели (например, Qwen/Qwen3-1.7B) на Hugging Face.
2. Нажмите «Use this model» → выберите Kaggle.
3. Откроется ноутбук с уже готовым кодом для загрузки модели.

📥 Из Kaggle в Hugging Face:
1. На Kaggle-моделях теперь есть вкладка «Code», где отображаются все публичные ноутбуки, использующие эту модель.
2. Также есть кнопка «Открыть в Hugging Face» — для перехода на оригинальную страницу модели с полными метаданными и обсуждениями.

🚩 В ближайшие месяцы Kaggle планирует внедрить поддержку моделей Hugging Face в оффлайн-соревнованиях. Это требует особого подхода, так как Kaggle строго следит за отсутствием утечек данных и честностью результатов.

✅ Подробности в блоге: https://clc.to/YCGcmQ

Библиотека дата-сайентиста #свежак

🚀 Как ускорить Python-код для ресурсоёмких задач

При работе с большими объёмами данных Python может «тормозить», особенно при обработке сотен тысяч строк или обучении сложных ML-моделей.

🎯 Ниже — два приёма, которые позволят ускорить обучение и загрузку данных в десятки раз.

1️⃣ Используйте GPU с включённым memory growth

По умолчанию TensorFlow может попытаться занять всю память видеокарты, что приводит к ошибке OOM. Решение — включить «постепенное» выделение памяти:

gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
    for gpu in gpus:
        tf.config.experimental.set_memory_growth(gpu, True)

2️⃣ Оптимизируйте загрузку данных с `tf.data`

Загрузка Excel-файла — типичное узкое место (Disk I/O). Использование tf.data.Dataset с prefetch позволяет загружать и обрабатывать данные асинхронно.

Пример:

dataset = tf.data.Dataset.from_generator(
    data_generator,
    output_signature={col: tf.TensorSpec(shape=(), dtype=tf.float32) for col in data.columns}
).shuffle(1000).batch(32).prefetch(tf.data.AUTOTUNE)

📎 Вывод:
GPU и tf.data с правильной настройкой дают мощный прирост производительности. Особенно важно при работе с крупными ML-пайплайнами и в продакшене.

Библиотека дата-сайентиста #буст