はじめにKMNISTをCNNモデルで評価したところ、CV=0.99程度に対してLB=0.971と出ました。したがって、KMNISTの学習データと試験データにかたよりがあるのではないかと考えてデータを調べました。その結果、ちょっと面白い評価ができましたので紹介します。この検討には、ProbSpaceから提供されたkmnist-test-imgs.npz、kmnist-train-labels.npz、kmnist-train-imgs.npz以外に、人文学オープンデータ共同利用センターで公開されているkmnist-test-labels.npz(試験データの正解ラベル)も用いました。コンペ期間中に外部データを参照することはルール違反ですが、コンペも数か月前に終わっていますので、問題ないと判断します。調べてみたを参考にしました。くずし字とKMNISTについてくずし字(変体仮名ともいう)には、現在の平仮名のもとになったものの他に様々な字母(もとになった漢字)が存在します。)同じ平仮名のくずし字に複数の字体があるのはこのためです。KMNISTには、「お」,「き」,「す」,「つ」,「な」,「は」,「ま」,「や」,「れ」,「を」の十文字のくずし字が、学習データで60,000字(それぞれの字で6,000字)、試験データで10,000字(それぞれの字で1,000字)収められています。準備まずは利用しているモジュールと画像データおよびラベルデータを読みます。Test_imgs.reshape(-1,784)試験データのラベルを+10して、学習データのラベルと区別できるようにしたうえで、試験データと学習データを結合します。テストデータの正解ラベルを+10する。Test_target])ラベルと仮名の対応を設定します。学習データと試験データが区別できるようにします。くずし字の画像データくずし字の画像を30個ずつ表示します。上の10が学習データのもので、下の10が試験データのものです。見ると、ほとんどの文字で、異なる字母を持つものが混在しています。利用して、次元削減し、平面にマッピングします。t-SNEの理論は全く理解できていませんが、近い特徴を持つものを近くに、遠い特徴を持つものを遠くにマッピングしてくれる便利なツールと思っています。