Привет, друзья!

Сегодня поговорим про Numba - инструмент, который превращает обычный Python-код в "почти C" по скорости🏃‍♂️

Numba - это JIT-компилятор (Just-In-Time) для Python. Если вкратце, то он анализирует функции и компилирует их в машинный код прямо во время исполнения. То есть, вместо интерпретируемого Python код исполняется как скомпилированный.

Воспользоваться возможностями Numba крайне легко - нужно просто добавить декоратор @njit к функции, и всё! 🧑‍💻

@njit
def sigmoid_numba(x):
    return 1 / (1 + np.exp(-x))

Но пара нюансов всё же есть:
➡️ Во-первых, не все операции могут быть ускорены таким способом. Общий рецепт таков: "чем проще и численно интенсивнее функция, тем лучше". Вот несколько типичных примеров, которые хороши для Numba:
1. численные циклы (циклы for, while)
2. операции с массивами numpy
3. алгоритмы оптимизации, матричные вычисления
4. генерация чисел и математические функции (sin, exp, sqrt, и т.д.)
5. фильтрация, агрегация и другие различные манипуляции над массивами
6. простые симуляции (например, метод Монте-Карло)

➡️ А во-вторых, при первом запуске функция с Numba может работать даже медленнее обычной Python-версии🙂 Всё потому, что в первый раз Numba не просто выполняет код, а сначала компилирует его в машинный код - и это занимает время. Но уже со второго вызова скомпилированный вариант готов и работает в разы быстрее, как настоящий нативный код.

А насколько быстрым получается код с добавлением Numba - смотрите на скринах:) Замеры проведены на втором запуске😉

Документация библиотеки +:
➡️ с список Python-операций, которые могут быть ускорены
➡️ с аналогичный список для Numpy-функций

Хорошей недели и гармоничных распределений! ☀️

#python@data_easy

Привет, друзья!
На небосклоне LLM новая восходящая китайская звезда: модель Kimi-K2 от Moonshot AI. Пока OpenAI и Google заняты гонкой за универсальными AGI (Artificial general intelligence), команда из Пекина делает ставку на производительность внутри диалога - и судя по всему, у них это неплохо получается!

🫤 Что такое Kimi-K2?
Kimi-K2 — это улучшенная LLM, похожая на DeepSeek-v3. Но Kimi-K2 - это не просто "следующая улучшенная версия", а модель, натренированная с прицелом на самостоятельное решение комплексных, многошаговых задач в реальных сценариях: она уточняет детали у пользователя, планирует шаги, кодит, анализирует и доводит дело до конца.

В официальном посте от разработчиков можно увидеть, как Kimi-K2 решает многосоставные задачи полностью и самостоятельно:
— Собирает академическую родословную Stanford NLP: парсит данные, исследует карьеры выпускников, анализирует метрики влияния и строит интерактивный 3D-граф.
— Планирует поездку на концерт: подбирает билеты, жильё, транспорт, сверяется с календарём и формирует отчёт.
— Анализирует зарплаты и удалёнку: проводит статистический анализ с interaction effects, визуализациями и выводами.
— Пишет веб-версию Minecraft: от архитектуры до hand-drawn текстур и генерации мира.
...
Главное - модель сама уточняет, планирует, кодит, анализирует и визуализирует, превращаясь из LLM в полноценного многошагового агента.

🫤 А технические детали?
У модели 1 трлн параметров, из которых 32 млрд активных, контекстное окно 128 тыс. токенов, веса можно скачать на Hugging Face😏
Насчёт обучения - pretrain + align (SFT + RLHF) + оптимизация плавности в диалоге.
И ключевой фокус на улучшение именно диалогового поведения, а не просто BLEU или accuracy.

🫤 Что это значит для нас?
Kimi-K2 - это пример LLM, фокусированной не на абстрактном интеллекте, а на конкретном опыте пользователя.
И это мощный тренд! Возможно, впереди нас ждёт эра не универсальных AGI, а практичных LLM-компаньонов, ориентированных на задачи конкретных профессий 😏

🫤 Ещё раз все ссылки:
🔗 репозиторий на GitHub
🔗 официальная статья с примерами, бенчмарками и другими деталями
🔗 веса на Hugging Face
🔗 НУ И САМОЕ ГЛАВНОЕ - попробовать модель можно ТУТ (главное сразу включить слева снизу Language=English ну или сделать автоперевод:)) На русском модель отлично отвечает!

Кто уже протестировал - как впечатления?

#полезный_ии@data_easy
#nlp@data_easy

Привет, друзья!
В DS-задачах часто важно не только получить точное предсказание модели, но и понять, как именно каждый признак влияет на результат. А простые встроенные методы оценки feature importance часто показывают лишь общее влияние, не раскрывая деталей и взаимодействий между признаками 🤷‍♀️

Зато есть мощная библиотека SHAP - она позволяет объяснять предсказания любой классической модели, давая детальные и справедливые оценки вклада каждого признака в конкретное предсказание. SHAP-значения основаны на теории игр и помогают понять не только важность, но и направление влияния признаков (подробнее про них тут и в colab😉).

В карточках листайте примеры основных возможностей SHAP, а в уже упомянутом ноутбуке - какими командами всё это построить на питоне 🐍

🔗 Ещё полезные ссылки для изучения SHAP:
- Официальная документация
- Репозиторий на GitHub
- Статья с обзором и более глубокой теорией

Откройте черный ящик моделей 😁

#classic_ml@data_easy