entropy)とは、情報理論において2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布ではなく、ある所定の確率分布に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。引用:「交差エントロピー」https://ja.wikipedia.org/wiki/交差エントロピーこれはちょっとすぐに理解できないです。用語用語1つずつ理解しながら全体の意味を理解してきましょう。今回は以下のクッキーさんの記事を参考にして解説していきます。機械学習をしているとよく交差エントロピーを最小化させられると思います。冷静に考えると交差エントロピーが何かよくわかりませんでした。エントロピーがわかりませんでした。以下の記事を読み、もっと無理がない例で短くまとめたかったのですが、やはり例に無理があり、長くなってしまいました。非常にわかりやすく解説してくださっています。本当に感謝しかないです。エントロピーを定義を理解する今回使う仮のモデルケースとして日本と中国で1日に発生する地震の規模を使います。あ、もちろん架空のデータなのでデータに違和感を持つのは当然です。交差エントロピーを理解するための材料として使います。地震(震度1〜2)地震(震度3〜4)地震(震度5位上)日本50301010中国603055それぞれの震度を以下のエンコード方法で表現するとします。地震(震度0)00地震(震度1〜2)01地震(震度3〜4)10地震(震度5~)11今回あるメモリが与えられるとしてそのメモリの容量が1K[byte](8000[bit])とします。[日]$$のデータが保存できます。ここでデータの保存方法を最適化することを考えます。[bit]$$ですので0.3bit、1日のデータの保存量を削減できたことになります。この最適化を行う方法はすでに存在しており、数学的に証明されています。その方法は確率で起こるできごとには長さを割り当てるという方法です。1回の試行の結果を伝えるのに要する平均ビット数をエントロピーといいます。$$筆者ようやくエントロピーの定義がでてきました。それでは交差エントロピーの定義も確認しましょう!エントロピーの値についてまずエントロピーは各事象の発生する確率分布が偏っているほど大きくなります。いうのも仮にA国の各地震発生率が25%だったとするならばどの地震が起こっても「ふ〜ん(珍しくはない)」という反応になると思います。地震(震度0)地震(震度1〜2)地震(震度3〜4)地震(震度5~)B国3333331B国で地震(震度5~)が起きた場合は「は?まじか!!(珍しい)」という反応になるのは想像できますよね。このようなイメージで分布が偏っている場合は平均としてのエントロピーは大きくなります。値が非常に小さい時、の値が大きくなる(割り当てるビット数が増える)ということから数式的にも自然と理解できると思います。交差エントロピーを定義するある確率分布に基づいて最適化された方法で他の確率分布をエンコードした際の平均ビット長を交差エントロピーと呼びます。以下の式は「Qの情報の価値尺度でPの情報を受け取ったときの平均的な価値」として考えることができます。\frac{1}{Q(\omega)}$$2つの確率分布が存在し、片方の分布の価値尺度で片方の分布を考えた時、大抵の場合ギャップ(ビット数の無駄遣い)が発生します。機械学習ではこのギャップを埋めるための処理を挟むのでしょう。両方の確率分布が等しくなればギャップはなくなりますから。以上で交差エントロピーの解説は終了です。最後までお読みいただきありがとうございました。芝浦工業大学に合格し、法政大学を選んだ理由。芝浦工業大学に合格し、法政大学を選んだ理由。初心者が買うべきの技術本まとめ生活の無駄な作業を削除するアイテムまとめ理系の学生・社会人の登録必須マッチングアプリタイトルとURLをコピーしました。