2019で会議論文としてレビューされていました。本論文では、深層強化学習によってアリババというECサイトにおける動的価格設定問題をどのように解決するかを提案した。start」の段階(学習が済んでいない段階)ではランダムな選択をするため、利益が出てこない需要関数が未知である(問題による)報酬の定義するという3つの問題を解決すべき。T\)各時間ステップ\(t\)において、価格設定エージェントは商品の状態\(s_{i,t}\)を観察し、行動\(a_i,t\)を取る。次にエージェントが環境から行動\(a_{i,t}\)に対する報酬\(r_{i,t}\)と新しい状態\(s_{i,t+1}\)を受け取る。環境の変化を表現するためには、一定期間の観察が必要である短すぎるのはだめ学習データが少ないと収益の最大化が報酬できないことを避ける長すぎるのもだめ本論文では時間ステップの長さは1日に設定されている。商品ごとに別々に定義され、上限値\(P_i,_{max}\)と下限値\(P_i,_{min}\)は一定期間内の過去のデータの最大値と最小値によって決まる。行動空間は異なる問題に対して連続的または離散的である。revenue_{i,t}/uv_{i,t}\)は、報酬関数として使用される\(uv_{i,t}\)では時間ステップ\(t-1\)と時間ステップ\(t\)の間の訪問者人数。SKUsの飴の収益と収益コンバージョンが価格によりの変化する画像を対比して、収益コンバージョンが収益より凸であることを示した。(FMCG)とラグジュアリーの収益コンバージョン率が価格によりの変化を比較した。85のところ収益コンバージョンが上がることをわかる一方、FMCGでは、一定期間の価格と平均収益コンバージョンと価格の関係が不安定であることをわかっている。FMCGに対して報酬関数を以下のように定義。networkの手法が使用されている。価格はK区間に分けられます。連続的な価格エージェント問題は、Kが小さすぎると、広い価格帯は同じ価格と見なされる。Kが大きすぎると、経験データに多くの行動が探索しなくなり、将来の探索も非効率的になる可能性がある。(DDPG)という方法を使った。start」という問題が発生して、資本損失になる可能性がある。(DQfD)という手法を利用することで、事前学習が可能になる。本論文では、60日間の4万SKUのFMCGの記録を使ってオフライン実験を行った。最初の59日の記録をデモンストレーションデータとしてエージェントを事前学習させ、最後の日の記録を検証データとして評価する。実験の結果として、DDPGは一定数のデモンストレーションを使用して事前学習の後、DQNよりもパフォーマンスが優れていることを示している。※詳しい結果はこの論文のAppendixの部分を参照してください。値下げ価格のオンライン実験DDPGグループ、DQNグループおよびマニュアルグループを同じ期間に実験して比較した。SKUsのラグジュアリー)1-15日目:普段の価格でDQNグループとマニアルグループの収益コンバージョン率が0.04、0.06•15-30日目:値下げ価格でDQNグループとマニアルグループの収益コンバージョン率が0.22、0.16FMCGのオンライン実験DDPGグループ、DQNグループとマニュアルグループを同じ期間に実験して比較した。