Машинное обучение digest

15 бесплатных книг по Data Science (часть 1)*

1. *Veridical Data Science*
👩‍🔬 Авторы: Bin Yu & Rebecca L. Barter
Описание: Фреймворк PCS для интерпретируемого анализа данных.
🔗 https://vdsbook.com/

2. *Data Science: Theories, Models, Algorithms, and Analytics*
📘 Автор: Sanjiv Ranjan Das
Описание: Учебник по DS с упором на алгоритмы и аналитику.
🔗 https://srdas.github.io/Papers/DSA_Book.pdf

3. *Think Python 3E*
🐍 Автор: Allen B. Downey
Описание: Современное введение в Python с нуля.
🔗 https://greenteapress.com/wp/think-python-3rd-edition/

4. *Python Data Science Handbook*
📊 Автор: Jake VanderPlas
Описание: Практика работы с NumPy, pandas, sklearn и визуализациями.
🔗 https://jakevdp.github.io/PythonDataScienceHandbook/

5. *R for Data Science*
📈 Авторы: Hadley Wickham и др.
Описание: Современный подход к анализу данных в R.
🔗 https://r4ds.hadley.nz/

6. *Think Stats 3E*
📐 Автор: Allen B. Downey
Описание: Статистика через Python и практику.
🔗 https://allendowney.github.io/ThinkStats/

7. *Statistics and Prediction Algorithms Through Case Studies*
📙 Автор: Rafael A. Irizarry
Описание: Кейсы по статистике и прогнозированию с кодом на R.
🔗 https://rafalab.github.io/dsbook/

8. *Bayesian Methods for Hackers*
🧠 Автор: Cameron Davidson-Pilon
Описание: Визуальное введение в байесовский анализ с PyMC.
🔗 https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers

9. *Think Bayes 2E*
🔢 Автор: Allen B. Downey
Описание: Пошаговый байесовский подход на Python.
🔗 https://allendowney.github.io/ThinkBayes2/

10. *Data Science at the Command Line*
💻 Автор: Jeroen Janssens
Описание: Unix-инструменты как основа для анализа данных.
🔗 https://datascienceatthecommandline.com/

Математика и теория вероятностей:
11. Теория вероятностей
👩‍🔬 Автор: Чернова Н. И.
Описание: Понятное введение в теорию вероятностей, основа для изучения математической статистики.
🔗 http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf

12. * Математическая статистика*
👩‍🔬 Автор: Чернова Н. И.
Описание: Продолжение курса по теории вероятностей (НГУ), покрывающее основы математической статистики: оценки параметров, проверка гипотез, регрессионный анализ.
🔗 http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf

13. * Курс дифференциального и интегрального исчисления (Том 1)*
👩‍🔬 Автор: Фихтенгольц Г. М.
Описание: Фундаментальный и классический учебник по основам математического анализа.
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu

14.*Векторные исчисления для инженеров*
👩‍🔬 Автор:Jeffrey R. Chasnov
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu

15 .*Theory—Theoretical & Mathematical Foundations ;
👩‍🔬Daniel A. Roberts, Sho Yaida, Boris Hanin
🔗https://arxiv.org/abs/2106.10165

📘 Еще больше книг здесь

@ai_machinelearning_big_data

#books #opensource #freebooks

2 views08:38

📌

Обучение с подкреплением: как языковые модели учатся рассуждать.

Объемная и интересная статья Sebastian Raschka, автора книги "Build a Large Language Model From Scratch" о тенденциях и проблемах современных методов обучения LLM через призму RL.

В мире LLM последние месяцы стали переломными. Релизы GPT-4.5 и Llama 4, вопреки ожиданиям, не вызвали ажиотажа — все потому, что эти модели остались «классическими», без продвинутых методов обучения для рассуждений. Их конкуренты - xAI и Anthropic уже добавили кнопки «расширенного мышления», а OpenAI представила o3 — модель, где упор сделан на стратегическое применение вычислений через обучение с подкреплением. Становится ясно: масштабирование данных и параметров почти исчерпало себя, и будущее за RL.

Основной инструмент RLHF (обучение с подкреплением на основе человеческой обратной связи) давно используется для настройки LLM под предпочтения людей. Но для задач, требующих логики, этого недостаточно.

Здесь на сцену выходит GRPO — модификация алгоритма PPO, которая экономит ресурсы, убирая «критика» (модель оценки вознаграждения). Так создавалась DeepSeek-R1-Zero, ее обучали вообще без этапа SFT, используя только автоматические проверки ответов. Если математическая задача решена верно, модель получает «плюс», если нет — «минус». Такой подход не только дешевле, но и снижает риск «обмана» модели (reward hacking).

Но и RL — не панацея. Исследования показывают, что PPO и GRPO неявно поощряют длинные ответы, даже если те ошибочны. Например, при отрицательном вознаграждении штраф распределяется по токенам, и модель учится растягивать текст, чтобы смягчить наказание.

Решения уже есть: одни команды вводят штрафы за длину, другие меняют расчет преимуществ. А модель L1 от Kaggle и вовсе позволяет пользователям задавать желаемую длину ответа, балансируя между точностью и затратами.

Способность к рассуждениям может возникать и без RL. DeepSeek V3 демонстрирует мыслительные «озарения», хотя ее не обучали специально. Этот факт всерьез ставит под вопрос исключительную роль RL — возможно, все дело в данных, где уже есть цепочки логических шагов.

Тем не менее, RL усиливает эти способности: модели начинают самокорректироваться, использовать внешние инструменты (калькуляторы, поиск) и даже переносить навыки между доменами — от математики до медицины.

Некоторые заявления о прогрессе оказались преувеличены: улучшения на мелких моделях часто нестабильны, а результаты зависят от случайных факторов вроде выбора сида. Кроме того, RL требует внушительных ресурсов (o3 от OpenAI потратила при обучении в 10 раз больше вычислений, чем предыдущая версия)

В итоге, RL остается ключевым направлением, но важно избегать «эйфории». Сочетание RL с автоматической проверкой ответов, контроль длины и гибридные подходы (как в DeepSeek-R1) — вот что приближает нас к моделям, которые не просто генерируют текст, а действительно думают.

🔜

Читать статью в оригинале

@ai_machinelearning_big_data

#AI #ML #LLM #RL

Please open Telegram to view this post