🌟 Megatron-Core — библиотека PyTorch для обучения трансформеров

docker run --ipc=host --shm-size=512m --gpus all -it nvcr.io/nvidia/pytorch:24.02-py3

pip install megatron_core
pip install tensorstore==0.1.45
pip install zarr

Megatron-Core — это самодостаточная, легкая библиотека PyTorch, в которой собрано все необходимое для обучения трансформеров.
Предлагает большую коллекцию GPU-методик для оптимизации памяти и вычислений, использует массу наработок Megatron-LM и Transformer Engine.

Megatron-Core обеспечивает гибкость для разработчиков и облегчает разработку собственного LLM-фреймворка на вычислительной инфраструктуре NVIDIA.

🖥 GitHub
🟡 Доки

@data_analysis_ml

🔥 Haystack — фреймворк Python для создания приложений на базе LLM

— pip install haystack-ai

Haystack — это фреймворк для создания настраиваемых, готовых к продакшену LLM-приложений.
Позволяет подключать компоненты (разные модели, векторные БД, конвертеры файлов) к конвейерам или агентам для взаимодействия с данными.
Благодаря продвинутым методам поиска, он лучше всего подходит для создания RAG, чат-ботов или семантического поиска.

Haystack бурно развивается, относительно недавно вышло значительное обновление — Haystack 2.0.

🖥 GitHub
🟡 Доки

@data_analysis_ml

🌟 Xinference — лёгкая замена LLM в своём приложении

pip install "xinference[all]"
xinference-local

Xinference позволяет заменить GPT от OpenAI в своём приложении на другую LLM, изменив всего одну строчку кода.

Быстрый старт с помощью Docker (предполагается, что CUDA настроен):
docker run --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v </on/your/host>:/data --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов

@data_analysis_ml

🌟 PennyLane — open-source кроссплатформенный фреймворк Python для квантового Machine Learning и квантовых вычислений

— pip install pennylane

PennyLane — это фреймворк для квантового Machine Learning и не только; некий аналог TensorFlow и PyTorch, но для квантовых вычислений.
PennyLane может работать практически на любом оборудовании.

🖥 GitHub
🟡 Доки

@data_analysis_ml