めもめもめもめもこのブログに記載の内容は個人の見解であり、必ずしも所属組織の立場、戦略、意見を代表するものではありません。作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon上記の書籍の第7章では、次のような問題を取り扱っています。細かい点は書籍に譲りますが、まず、生データとして次のようなデータが与えられます。これは、あるショッピングサイトの利用履歴を集計して得られたもので、あるユーザーが同じ商品を閲覧した回数(freq)と、その商品を最後に閲覧したのが何日前か(rcen)の2つの値から、そのユーザーが次にサイトにやってきた時に、再度、その商品を閲覧する確率(prob)を実績ベースで計算したものです。大きくなるという条件を満たした、なめらかな曲面になると期待することができます。そこで何らかの方法で、このようななめらかな曲面のグラフを得ることができれば、これを予測に使うことができます。このサイトにユーザーがログインした際に、該当ユーザーの過去の閲覧履歴から、このユーザーが再度閲覧する確率が最も高い商品(つまり、このユーザーが、今、最も関心を持っている商品)を予測して、「おすすめ商品」として先回りして表示するなどの利用方法が考えられます。原理的には、上記の実績ベースのグラフをそのまま使って予測することもできますが、実績ベースのデータは、理論的に妥当な予測値に対して、たまたまこのデータに含まれていたノイズ(理論には合わない例外的な行動や誤ったデータ)が加わってガタガタした結果になっていると考えれば、それよりも、理論的に妥当ななめらかな曲面のグラフで予測した方が、予測の精度は良いものと期待できます。機械学習になじみのある方であれば、「上記のデータを学習データとして、最小二乗法で学習すればよいのでは?」と思いつくかもしれません。私も最初、そう思いました。データ数がそれほど多くないので、複雑なモデルにすると、簡単にオーバーフィッティングするのが目に見えているので、まずは、シンプルな線形モデルでやってみました。