RLgraph「RLgraph」には膨大な数のコミットがあると言うことから始めましょう。彼らは年間4000件のコミットを実行しています。Gymと比較してください。誰かがこれら5人に休暇をとるように伝える必要があります。それはほんの1歳です。フルタイムで使用されていることしか想像できません。他のフレームワークと同様に、スケーラビリティに焦点を合わせています。興味深いことに、彼らはTensorflowとPytorchの両方に直接マッピングしています。彼らはKerasを使用していません。それはそれ自体が大きな挑戦だったに違いありません。「Ray」を使用して、「SLM-Lab」のような作品を配布したようです。これはpipインストーラーを持っています。エージェントの構成は、JSONを介して制御されます。構成のみで、構造ではありません。著者が「TensorForce」にも取り組んでいることを読んだばかりです。これは、私が感じているデジャヴの一部を説明しています。基礎となるDLフレームワークがRL実装コードに漏れることが多いという「TensorForce」での苦情が「RLgraph」で対処されたことを気に入っています。テンソルの空間を論理的な構成から分離することにより、互換性のない形状を再び手動で処理することなくコンポーネントを再利用できます。上記のコードにはフレームワーク固有の概念は含まれず、空間のセットからの入力データフローのみを定義することに注意してください。これは入力と出力の抽象化によって達成されます。それ以外は、APIはおなじみです。DLビルディングブロックを抽象化する非常にクールなコンポーネントクラスがあります。ここには欠落している抽象化があります。ポリシーの抽象化はありません。探査の抽象化はありません。それでも、私は感銘を受けました。◎入門CartPoleの開始例を少し変更して、SingleThreadedWorkerを使用し、環境でのレンダリングを有効にしてビデオ録画を取得しました。それ以外はすべて非常に馴染みがあるように見えます。RL他のすべてのフレームワークでは、目標はパフォーマンス/スケーラビリティ、モジュール性、再現性であると述べています。それらのどれも単純であるように設定されていません。RL」が介入する場所です。可能な限りシンプルになるようにゼロから構築されています。依存関係はnumpyとmatplotlibの2つのみです。それは結果をプロットしたい場合のみです。pipインストーラーがあります。ドキュメントは存在しません。エージェント、実験、mdpと呼ばれる環境など、おなじみの抽象化されたコレクションを提供します。モデルの他の部分も抽象化します。次の行動の戦略を実装する計画クラス。非常にモジュール化されていますが、他のフレームワークに合わせて命名規則の一部を変更する必要があります(標準化)。そのため、「シンプル」は必ずしも理解しやすいという意味ではないことが明らかになりつつあります。一般に、抽象化が進むと理解しにくくなります。この場合のシンプルなのは「使いやすさ」です。それは残念だと思います。私は本当にアンダータンディングの点でシンプルさを望んでいました。複雑なフレームワークのいくつかと競合することを目指しているようです。RLのサポートは開発中です。フレームワーク市場には、非常にシンプルで理解可能なRLフレームワークのギャップがあり続けています。このフレームワークが他と比べて星が少ないのか分かりません。他の多くのフレームワークのように、他のDLフレームワークの人気をブートストラップしていないからでしょう。コードの奥深くには、MatplotlibにTkAggバックエンドの使用を強制するいくつかの行があります。ノートブックでTkAggを動作させようとしましたが、できませんでした。グラフィカルなデスクトップ用に設計されているため、簡単ではないことが想像できます。それが機能する場合/それは次のような単純なものでなければなりません。steps=10)これにより、いくつかの異なるエージェントが訓練され、それぞれの報酬プロットが作成されます。RL」に環境の実装がないことです。Gymなどに任せてください。gym-minigridには素晴らしいGridworld実装があります。詳しくはこちら)Amazon.co.jpで購入するダウンロード#機械学習#強化学習この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。Gym」の記事をまとめました。クリエイターへのお問合せnoteカイゼン目安箱クリエイターの。