貪欲法とは当面一番よいと思われる手に固執する方法だ。貪欲法の問題点は、一番よい台だと思った台が、本当はそうではなく、別にもっとよい台があるかもしれないのに、それを見逃す可能性があることだ。目先の近視眼的な利益にこだわるので貪欲法という名前がついている。遠い先の利益を考慮しないのが貪欲法だ。次に開発されたのがエプシロン貪欲法というものだ。強化学習で盛んに使われている。これは当面はよいと思われる台を選ぶが、ごく小さな確率エプシロン(たとえば10%)で他の台もランダムに選択する。するともしかしたら、真によい台、つまり宝の山を掘り当てるかもしれない。よい台がみつかればそちらに移動するが、それでもさらにほかによい台があるかもしれないので、エプシロンの確率で他の台の探索は続行する。この種の問題を探索と活用のジレンマという。活用とは、目先の利益にこだわること、つまり現状で最良と思われるものを選び続けることである。探索とはもっとよいものがあるかもしれないと探し続けることだ。レストランに行く例を考えよう。あなたが安くておいしいお店を知っているとする。そこに行き続けるのが貪欲法だ。ほかにもっとおいしくて安い店があるかもしれないと思い、それを探すのが探索だ。活用ばかりでは、もっと良いものがあるかもしれないのに、それを見逃す危険性がある。そのもっと良い物を探し求めるのが探索だ。良い物に当たる可能性は低いので、探索をすると当面は損をするかもしれない。この活用と探索の兼ね合いが問題なのだ。貪欲法では活用ばかりで探索をしない。エプシロン貪欲法では、いつも一定の割合で探索を続ける。探索の割合をもっと動的に変更する方法が提案されている。1とトムソン・サンプリングこれ以上は専門的になるのだが、エプシロン貪欲法は最適ではないことが分かっている。初めに紹介したUCB1つまり上部信頼性限界法1というのがあり、アルファ碁に使われて有名になった。具体的な手法は説明が難しいが、一番不確かなものを試して、不確かさを減らして行く方法だ。簡単な式で表現できる。それは探索の割合を不確かさと試行回数の簡単な式で表している。簡単な式なので、それを使うのは簡単なことだ。その式を導くのは高度な数学的定理を必要とする。1よりよい方法がありトムソン・サンプリング法という。これが最近グーグルなどで使われているアルゴリズムだ。トムソン・サンプリング法自身は1933年、つまりいまから80年以上も前に発明されたのだが、それが脚光を浴びるようになったのはごく最近のことだ。グーグルなどのネット宣伝に使われるようになったからだ。この理論も難しいので、ここでは名前だけの紹介に止める。まとめわれわれは知らないうちにグーグルやフェイスブック、アマゾン、ヤフーなどの使う人工知能アルゴリズムに操作されている。自分の自由意志で選択したように見えて実は操られているのだ。それら人工知能はアメリカの大統領選挙すら操作できる。グーグルを使わないという選択をすることはできない。どのように操られているかを知っておくことは重要だ。そのためにもアルゴリズムの中身を理解することは必要だろう。LernVid.com。