C国の気象庁に勤めるクリスのもとには申請はありませんでした。C国の人々は申請するまでもなく過去の天気が晴れでしかないことを知っていました。C国のある1日の天気の情報を伝えるのに必要なビット数は0ビットでした。アリスよりボブが同じ容量のディスクでよりたくさんの日数の情報を提供できたのは、ボブの方が優れたエンコードをしたからではありません。何ならクリスはディスクをつかうまでもなく無限の日数の情報を提供できています。1回の試行の結果(ある1日の天気)を伝えるのに必要な平均ビット数の最小値は確率分布によってのみ決まります。コードを割り当てるのが最適になります(証明略)。情報量(選択情報量)、その期待値(1回の試行の結果を伝えるのに要する平均ビット数)をエントロピー(平均情報量)とよびます(以下)。A国、B国、C国それぞれの、「1日の天気を調べる」という試行のエントロピーは以下です。情報量を「その試行の結果を知らされたときの価値」、エントロピーを「1回の試行の結果の結果を知らされたときの価値の期待値」と解釈する人もあります。あるできごとを知らされたときの価値は、そのできごとが珍しいほど高くなります。A国ではどの天気になる確率も等しいので、どの天気だと知らされても等しく2の価値があります。B国では晴れになる確率が高いので、晴れだと知らされたときの価値は1しかありませんが、雨や雪になる確率は低いので、雨や雪だと知らされたときの価値は3あります。C国で晴れだと知らされても価値は0です。この価値の平均としてのエントロピーは不確実さが大きいほど(確率分布がばらつくほど)大きくなります。順になっているといえるでしょう。ところであるとき、B国の大学でA国の天気のデータが必要になりました。B国の大学の人はボブ式のエンコードに慣れていたので、A国のアリスに、B国のボブ式のエンコードでA国の天気のデータを送るよう依頼しました。なってしまうことに気付きました。同じころボブもA国の大学の人にアリス式のエンコードでB国の天気データを提供するよう要請されました。アリス式のエンコードはどの天気にも2ビットをあてがうので、B国の天気をエンコードしても平均ビット長が2ビットになりました。ボブは、「自分のエンコードなら、この国の天気を1日あたり1.75ビットに圧縮できるのになあ」と思いました。ある確率分布に最適化された方式で別の確率分布をエンコードしたときの平均ビット長を交差エントロピーとよびます。これはエンコードを誤ったようなイメージです。ビット長の無駄が生じます。「B国の情報の価値尺度でA国の情報を受け取ったときの平均的な価値」と解釈することもできます。B国ではめずらしい雨や雪が、A国では比較的めずらしくないので、その分A国の天気をA国の尺度で受け取るよりも、A国の天気をB国の尺度で受け取った方が価値が上がってしまいます。カルバック・ライブラー情報量とよびます。なっていますが、一般に、KL情報量は確率分布の交換について非対称です。「A国の天気をB国方式でエンコードしたときのビット長の無駄」と「A国の天気をB国方式でエンコードしたときのビット長の無駄」は一般には等しくなりません。天気が晴れにしかならないC国では、晴れ以外の天気は無限大のコード長をもつことになるので、C国の方式で他の国の天気をエンコードした交差エントロピーも、カルバック・ライブラー情報量も無限大になります。他の国の方式でC国の天気をエンコードした場合は無限大にはなりません。KL情報量は2つの分布の間の距離のようなものと表現されることがあります。近さといった方がいいのかもしれません。損失関数とすることがよくあります。近づくよう改善していく作業は、正解の分布に合わせてエンコードを最適化しようとする作業に似ています。最小化に他なりません。学習の初期にC国のような分布からはじめてしまうと、正解の分布から見た距離がどうしようもなく遠くなってしまうことが予想されます(ちょうどA国の分布から見たC国の分布の交差エントロピーが無限大であるように)。分布と分布がどれだけずれているかの尺度は何も交差エントロピーだけでなく、2乗誤差なども考えられます。2乗誤差も交差エントロピーも、小さくなるようにパラメータを更新し続ければ分類器が改善していくことが期待されます。交差エントロピーの利点は、分布がまるで期待外れのとき(誤差が大きいとき)学習の速度が速い点です。2乗誤差は、誤差が大きいときに必ずしも学習が速くなりません。シグモイド関数やソフトマックス関数で活性化された分類器の出力があるクラスにかなり偏ってしまっているとき、それが期待とはほど遠い状態であるにもかかわらず、2乗誤差の勾配はとてもなだらかになってしまいます。この状態でパラメータを少し動かしたところで、分布はほとんど変わらず、2乗誤差はほぼ変わらないからです。交差エントロピーの場合、分類器の出力が期待せずかなり偏ってしまった場合、真の分布から見た交差エントロピーがそれこそ無限大の勢いで大きくなるので(A国の分布から見たC国の分布の交差エントロピーのように)、勾配も大きくなります。この期待外れの時に勾配が大きいという望ましい性質により、交差エントロピーは広く採用されています。ノート4章その0.1以下の本を読みます。キャラクターは架空のものです。ノート2以下の本を読みます。キャラクターは架空のものです。ノート1以下の本を読みます。キャラクターは架空のものです。10章メモ(疎構造学習による変化検知)以下の赤い本の10章を読みます。キャラクターは適当です。ノート1以下の本を読みます。注目記事はてなブログをはじめよう!cookie-boxさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。