Завтра на лекции поговорим о математической рамке, внутри которой работает RL, и, если останется время, о Gymnasium — самой известной Python-библиотеке в области обучения с подкреплением.

Пожалуйста, заполните короткую форму по ссылке, если вы планируете посещать курс. Опрос займет менее минуты и ни к чему вас не обязывает. Ответы помогут адаптировать программу и выбрать наиболее актуальные темы.

https://forms.yandex.ru/u/6aa3c15c493639578b8f6592

Завтра начнем лекцию с обзора библиотеки Gymnasium — единого стандарта API для задач обучения с подкреплением в экосистеме Python. После этого поговорим о двух фундаментальных функциях в RL: функции ценности состояния и функции ценности пары состояние-действие.

Блокнот с обзором библиотеки gymnasium выложен на github.

На завтрашней лекции мы разберем уравнения оптимальности Беллмана и базовые подходы динамического программирования. Именно этот математический аппарат служит теоретическим фундаментом для RL — он строго обосновывает, почему алгоритмы непосредственно обучения с подкреплением в принципе способны сходиться и эффективно работать. Кроме того, мы увидим сильные ограничения этих подходов, которые делают переход к методам RL необходимым.

А пока можно поиграть в алгоритмы Value Iteration и Policy Iteration

В среду я забыл ответить на вопрос, остававшийся с позапрошлой лекции. Вопрос такой: если V-функция невыпуклая, как мы стремимся к её оптимальному значению? Ответ, вероятно, уже понятен, но на всякий случай уточню: выпуклость здесь не требуется, потому что поиск оптимума осуществляется не через градиентный спуск, а посредством сжимающего отображения.

Блокнот с псевдокодом алгоритмов Value Iteration и Policy Iteration, примерами с пошаговым выполнением алгоритмов, описанием ограничений методов динамического программирования.

В качестве упражнения можно взять среду GridWorld из этого блокнота и прогнать на ней эти два алгоритма.

Завтра на лекции мы приступим к алгоритмам уже непосредственно RL. Разберем, как они работают в табличных средах. Продвинутые алгоритмы, несмотря на свои нюансы и особенности, тем не менее отталкиваются от тех же базовых концепций.

Сегодня лекция начнется в 17:20.

Блокнот с обзором табличных методов.