В среду я забыл ответить на вопрос, остававшийся с позапрошлой лекции. Вопрос такой: если V-функция невыпуклая, как мы стремимся к её оптимальному значению? Ответ, вероятно, уже понятен, но на всякий случай уточню: выпуклость здесь не требуется, потому что поиск оптимума осуществляется не через градиентный спуск, а посредством сжимающего отображения.

Блокнот с псевдокодом алгоритмов Value Iteration и Policy Iteration, примерами с пошаговым выполнением алгоритмов, описанием ограничений методов динамического программирования.

В качестве упражнения можно взять среду GridWorld из этого блокнота и прогнать на ней эти два алгоритма.

Завтра на лекции мы приступим к алгоритмам уже непосредственно RL. Разберем, как они работают в табличных средах. Продвинутые алгоритмы, несмотря на свои нюансы и особенности, тем не менее отталкиваются от тех же базовых концепций.

Сегодня лекция начнется в 17:20.

Блокнот с обзором табличных методов.

Блокнот с примерами кодирования состояний и контрпримером Бэрда.