機械学習をしているとよく交差エントロピーを最小化させられると思います。冷静に考えると交差エントロピーが何かよくわかりませんでした。エントロピーがわかりませんでした。以下はこれら記事の劣化アレンジです。A国、B国、C国があります。A国では、一日の天気は25%ずつの確率で晴れ、曇り、雨、雪になります。B国では、晴れになる確率が50%、曇りになる確率が25%、雨か雪になる確率が12.5%ずつです。C国では天気は晴れにしかなりません。この3国の天気の確率関数をグラフに表すと以下のようになります。それぞれの天気になる確率を横向きの積み上げ棒グラフで表すと以下のようになります。あるとき、A国の気象庁に勤めるアリスは、A国内の大学から「過去の天気のデータをなるべくたくさんの日数ほしい」と申請を受けました。A国の法律で、気象庁からの情報提供は1枚のフロッピーディスク(死語)によって行うことになっていましたが、この架空の世界では記録媒体技術が残念だったのでフロッピーディスクの容量が1KB(8000ビット)しかありませんでした。経費削減のため1件の情報提供にディスクは1枚しかつかえませんでした。同じころ、B国の気象庁に勤めるボブもB国内の大学から同じ申請を受けました。B国も情報提供に係る制約はA国と同じです。ボブは、最初はアリスのように「晴:00、曇:01、雨:10、雪:11」というエンコードで情報を提供しようとしましたが、B国ではそれぞれの天気の確率に偏りがあることに気付きました。