深層強化学習ライブラリ machina #Python

深層強化学習ライブラリ machina

A Library for Real‑World
Deep Reinforcement Learning

新しい深層強化学習ライブラリがリリースされたようなので概要を訳してみました。

machina（mάkɪnə）は、実世界のタスクに深層強化学習 (DRL）を適用するために設計されたライブラリです。

DRL において、利用可能なアルゴリズムと方策の数が大幅に増加しています。実社会のタスクの開発は、(1)試行錯誤アプローチと、(2)環境、アルゴリズム、および方策が変わってしまう可能性のせいで困難です。そのため、DRLシステムの個々の構成要素を変更する機能は、開発者によって強く望まれています。

他のベンチマークライブラリと違って、machinaはDRLシステムの各構成要素の依存関係を分解することによってこのComposabilityの問題を解決します。

・強化学習のために設計されたComposability

Composabilityはコンピュータプログラミングにおける重要な特性であり、実行中にプログラムの構成要素を動的に切り替えることを可能にします。 machinaはこの原則を念頭に置いて構築・設計されており、システムおよびプログラム開発における高い柔軟性を持っています。

具体的には、RLポリシーは生成された軌跡を介して環境に働きかけ、一方の構成要素の交換を簡単にします。たとえば、machinaを使用すると、トレーニング段階でシミュレート環境と実際の環境を切り替えることができます。

エージェントは、異なる環境が混在する中で同時にまたは順次学習することが可能です。

エージェントは、さまざまな最先端のアルゴリズムを組み合わせて学習することができます。

ユーザーは、ハイパーパラメーターの自動チューニングのためのメタ最適化手法を容易に実装できます。

環境、アルゴリズム、方策といった構成要素の分解やカスタマイズに優れているようです。