Савелий подготовил подборку статей, книг и курсов для тех, кто хочет вкатиться в работу с LLM.

Некоторые статьи из подборки Савелий не только прочитал, но и написал.

🔘 Книги

Многие книги в этой области быстро устаревают, особенно, если они направлены на какой-то конкретный новомодный фреймворк. Поэтому ориентируйтесь на фундаментальную теорию и наборы практик.

Вот некоторые из них:

📕 Серрано Луис «Грокаем машинное обучение». Очень хорошая база для людей, которые только знакомятся с тем, что из себя представляет машинное обучение.

📕 Орельен Жерон «Прикладное машинное обучение с помощью Scikit-Learn, Keras и TensorFlow». Практическая база MLE: как устроены типовые пайплайны.

📕 Дэвид Свит «Тюнинг систем: экспериментирование для инженеров от A/B-тестирования до байесовской оптимизации». Сильная книга именно под культуру экспериментов, бенчмаркинг и итеративные улучшения.

📕 Lewis Tunstall, Leandro von Werra, Thomas Wolf "Natural Language Processing with Transformers". Хорошая книга для входа в трансформеры и прикладной NLP/LLM-стек.

🔘 База по ML/DL

Stepik: "Deep Learning". Вводный курс по Deep Learning.

Andrej Karpathy: "Neural Networks: Zero to Hero". Очень понятный путь от backprop до GPT.

Общая витрина курсов Hugging Face Learn. Удобно выбрать ровно тот трек, который нужен — LLM/agents и так далее.

Курс «Машинное обучение» 2019 года от К. В. Воронцова. Для тех, кто хочет углубиться в математику ML.

🔘 LLM как прикладная система: prompting, tooling, context engineering, RAG, evaluation

Claude Cookbook. Практические паттерны для LLM-приложений: prompting, tool use, RAG, evals, agent building и так далее.

«Базовый минимум. Часть 3: RAG-системы». Нормальный вводный текст с терминологией и базовой архитектурой.

«Выбор LLM и фреймворка для ИИ-агентов». Прикладной разбор стека и инженерных решений для LLM-продуктов и экспериментов.

«Будущее ИИ — формальные грамматики». Про контролируемый/структурированный вывод и почему это важно для надежности ИИ-систем.

Evidently AI: "LLM evaluation: a beginner’s guide". Вводный гайд по типам оценок, метрикам, тест-наборам и рабочим процессам.

🔘 Fine-tuning — дообучение LLM под конкретную задачу

Aliona Surovtseva, Innovation Analyst: "LLM training: the process, stages, and fine-tuning gritty details". Про этапы обучения LLM.

Cameron R. Wolfe: "Understanding and Using Supervised Fine-Tuning (SFT) for Language Models". Описание того, что такое SFT и как использовать этот подход для обучения языковых моделей.

Sebastian Raschka: "Parameter-Efficient LLM Finetuning With LoRA". Понятная статья про LoRA.

«Как мы готовим RL для Alignment в больших языковых моделях: опыт команды YandexGPT». Про алгоритмы DPO и PPO и их использование.

Yihua Zhang: "From GRPO to DAPO and GSPO: What, Why, and How". GRPO → DAPO → GSPO.

«Как мы обеспечили +33% к точности на сложных SQL-запросах». Пример того, как использовать RL для обучения на конкретной задаче.

Сохраняйте подборку себе и отправляйте коллегам. Оставляйте в комментах свои любимые материалы по теме.