Tinkoff.AI Saint Reinforcenburg

За пять лет активных исследований в области Offline RL произошло многое. Расскажу о том как сформировалась область, к каким решениям в итоге сошлось сообщество исследователей, какие новые вызовы появились и как мы отвечаем на них через наши open-source проекты.

В offline RL появилось множество разных алгоритмов за последние годы, но помимо алгоритмических идей они привносили и другие модификации, которые не подвергались достаточному анализу. В докладе я расскажу о том, как мы взяли часть этих модификаций, добавили их в самый простой оффлайн подход и получили state-of-the-art решение.

В деталях и простым языком расскажу о нашей новой работе принятой на ICML 2023. В ней нам удалось опровергнуть результаты предыдущих исследований и значительно ускорить оценку неопределенности для офлайн-обучения с подкреплением без потери в качестве!