hi there,
not a causality link, but still! we’ve got paper accepted at ICML2022 (Spotlight), so if you’re interested in offline rl — check it out
https://twitter.com/vladkurenkov/status/1534235675725381632
retweet appreciated 😈
not a causality link, but still! we’ve got paper accepted at ICML2022 (Spotlight), so if you’re interested in offline rl — check it out
https://twitter.com/vladkurenkov/status/1534235675725381632
retweet appreciated 😈
On Calibration and Out-of-domain Generalization
https://arxiv.org/abs/2102.10395
https://arxiv.org/abs/2102.10395
👍1
👋
we finally released our offline RL library with SOTA algorithms, so if you're into this stuff, check it out
- single-file implementations
- benchmarked on D4RL datasets
- wandb reports with full metric logs (so that you don't need to rely on final performance tables)
https://github.com/corl-team/CORL
we finally released our offline RL library with SOTA algorithms, so if you're into this stuff, check it out
- single-file implementations
- benchmarked on D4RL datasets
- wandb reports with full metric logs (so that you don't need to rely on final performance tables)
https://github.com/corl-team/CORL
GitHub
GitHub - corl-team/CORL: High-quality single-file implementations of SOTA Offline and Offline-to-Online RL algorithms: AWAC, BC…
High-quality single-file implementations of SOTA Offline and Offline-to-Online RL algorithms: AWAC, BC, CQL, DT, EDAC, IQL, SAC-N, TD3+BC, LB-SAC, SPOT, Cal-QL, ReBRAC - corl-team/CORL
🔥7
Forwarded from Агенты ИИ | AGI_and_RL
A Survey on Causal Reinforcement Learning
https://arxiv.org/abs/2302.05209
10 Feb 2023
—-
While Reinforcement Learning (RL) achieves tremendous success in sequential decision-making problems of many domains, it still faces key challenges of data inefficiency and the lack of interpretability. Interestingly, many researchers have leveraged insights from the causality literature recently, bringing forth flourishing works to unify the merits of causality and address well the challenges from RL. As such, it is of great necessity and significance to collate these Causal Reinforcement Learning (CRL) works, offer a review of CRL methods, and investigate the potential functionality from causality toward RL. In particular, we divide existing CRL approaches into two categories according to whether their causality-based information is given in advance or not. We further analyze each category in terms of the formalization of different models, ranging from the Markov Decision Process (MDP), Partially Observed Markov Decision Process (POMDP), Multi-Arm Bandits (MAB), and Dynamic Treatment Regime (DTR). Moreover, we summarize the evaluation matrices and open sources while we discuss emerging applications, along with promising prospects for the future development of CRL.
https://arxiv.org/abs/2302.05209
10 Feb 2023
—-
While Reinforcement Learning (RL) achieves tremendous success in sequential decision-making problems of many domains, it still faces key challenges of data inefficiency and the lack of interpretability. Interestingly, many researchers have leveraged insights from the causality literature recently, bringing forth flourishing works to unify the merits of causality and address well the challenges from RL. As such, it is of great necessity and significance to collate these Causal Reinforcement Learning (CRL) works, offer a review of CRL methods, and investigate the potential functionality from causality toward RL. In particular, we divide existing CRL approaches into two categories according to whether their causality-based information is given in advance or not. We further analyze each category in terms of the formalization of different models, ranging from the Markov Decision Process (MDP), Partially Observed Markov Decision Process (POMDP), Multi-Arm Bandits (MAB), and Dynamic Treatment Regime (DTR). Moreover, we summarize the evaluation matrices and open sources while we discuss emerging applications, along with promising prospects for the future development of CRL.
🎉1
Forwarded from еба́ные идеи для резерча
Dutch Rudder as an Acyclic Causal Model
Reinforcement Learning from Passive Data via Latent Intentions
https://arxiv.org/abs/2304.04782
https://arxiv.org/abs/2304.04782
Survival Instinct in Offline Reinforcement Learning
https://arxiv.org/abs/2306.03286
https://arxiv.org/abs/2306.03286
❤1🔥1
causality links
👋 we finally released our offline RL library with SOTA algorithms, so if you're into this stuff, check it out - single-file implementations - benchmarked on D4RL datasets - wandb reports with full metric logs (so that you don't need to rely on final performance…
New major CORL update!
🍏 Added offline benchmarks for 30 datasets covering Gym-MuJoCo, Maze2D, AntMaze, and Adroit
🍎 Implemented and benchmarked 5 offline-to-online algorithms on 10 datasets
Key takeaways:
🍒 IQL is strongest on average, and works pretty good in offline-to-online setup
🍒 AWAC is often missed in the literature, but performs strong in the offline setup
🍒 CQL is a nightmare but if tuned and tweaked (for a couple of months) works well
https://github.com/corl-team/CORL
🍏 Added offline benchmarks for 30 datasets covering Gym-MuJoCo, Maze2D, AntMaze, and Adroit
🍎 Implemented and benchmarked 5 offline-to-online algorithms on 10 datasets
Key takeaways:
🍒 IQL is strongest on average, and works pretty good in offline-to-online setup
🍒 AWAC is often missed in the literature, but performs strong in the offline setup
🍒 CQL is a nightmare but if tuned and tweaked (for a couple of months) works well
https://github.com/corl-team/CORL
❤4
Supervised Pretraining Can Learn In-Context Reinforcement Learning
https://arxiv.org/abs/2306.14892
https://arxiv.org/abs/2306.14892
❤2👍2
Forwarded from Жёлтый AI
ICML День #1: Спонсоры, спонсоры, спонсоры
Привет, это @vkurenkov. Так вышло, что я второй год подряд катаюсь на ICML рассказывать про наши новые статьи. А в этот раз я, кажется, еще созрел рассказать как проходит сама конференция. В течение недели будет много постов и фоточек, где буду подсвечивать прикольные вещи. Stay tuned.
Первый день — это всегда про спонсоров конференции: Google, Citadel, Amazon, DeepMind, Microsoft и весь другой BigTech рассказывают про то какие крутые вещи они у себя делают и почему нужно идти работать именно к ним (прим. редакции – вы-то знаете, что идти нужно к нам). Cамый движ потом происходит в Expo Hall, где каждый может подлететь к ним пообщаться. В довесок вам еще отгрузят пачку стикеров или футболку.
Из интересного, что увидел в первый день (а интересное для меня RL, sorry):
1. Sony показывали демку того как они с помощью RL решили Grand Turismo. Из любопытного — у них есть отдельная группа, которая нарешивает разные игры и может утаскивать к себе в команду инженеров, которые делали эти игры — well, it’s Sony. Из приятного, оказалось, что создатель d3rlpy работает в этой группе и любит наш CORL. Молодец, уважаю. 🤙
2. Microsoft в очередной раз (2 или 3 год подряд?) рассказывали про свою библиотеку для бандитов Vowpal Wabbit: этот раз они умудрились сделать интеграцию с LLM, для оптимизации переменных в промптах, что выглядит любопытно и позволяет нативным образом накрутить RL поверх LLM для переменных частей, добиваясь персонализации через промпты 🤔
Привет, это @vkurenkov. Так вышло, что я второй год подряд катаюсь на ICML рассказывать про наши новые статьи. А в этот раз я, кажется, еще созрел рассказать как проходит сама конференция. В течение недели будет много постов и фоточек, где буду подсвечивать прикольные вещи. Stay tuned.
Первый день — это всегда про спонсоров конференции: Google, Citadel, Amazon, DeepMind, Microsoft и весь другой BigTech рассказывают про то какие крутые вещи они у себя делают и почему нужно идти работать именно к ним (прим. редакции – вы-то знаете, что идти нужно к нам). Cамый движ потом происходит в Expo Hall, где каждый может подлететь к ним пообщаться. В довесок вам еще отгрузят пачку стикеров или футболку.
Из интересного, что увидел в первый день (а интересное для меня RL, sorry):
1. Sony показывали демку того как они с помощью RL решили Grand Turismo. Из любопытного — у них есть отдельная группа, которая нарешивает разные игры и может утаскивать к себе в команду инженеров, которые делали эти игры — well, it’s Sony. Из приятного, оказалось, что создатель d3rlpy работает в этой группе и любит наш CORL. Молодец, уважаю. 🤙
2. Microsoft в очередной раз (2 или 3 год подряд?) рассказывали про свою библиотеку для бандитов Vowpal Wabbit: этот раз они умудрились сделать интеграцию с LLM, для оптимизации переменных в промптах, что выглядит любопытно и позволяет нативным образом накрутить RL поверх LLM для переменных частей, добиваясь персонализации через промпты 🤔
🤯3❤1