公開AI・機械学習のデータセット辞典:KMNIST/Kuzushiji-MNIST:日本古典籍くずし字(手書き文字)データセットデータセット「KMNIST」について説明。7万枚の手書き文字(くずし字)の「画像+ラベル」データが無料でダウンロードでき、画像認識などのディープラーニングに利用できる。データセットをダウンロードできるPythonファイルについても紹介。});連載目次データセット解説KMNISTデータセットに含まれるKuzushiji-MNIST(以下、KMNIST)は、「お」「き」「す」「つ」「な」「は」「ま」「や」「れ」「を」という10種類の手書き文字(=日本古典籍に含まれる、筆で書かれた「くずし字」)の画像データセットである(図1)。doi:10.20676/00000341特に古典書の筆字は、達筆過ぎて現代人には読みづらいところがある(図1の文字が読めないという人がほとんどではないだろうか)。そこで、機械学習やディープラーニングによる画像認識を行って、古文書のOCR研究やテキスト化、人間が古文書を読むのを手助けするのに役立てようという目的で、人文学オープンデータ共同利用センター*1によって作成されたのが、日本古典籍くずし字データセット(国文学研究資料館ほかが所蔵し、CODHが加工)のくずし字データベースである。そこからさらに、機械学習用として派生して作られたのが、KMNISTなのである。Humanities)」では、日本の古文書から抽出したさまざまなデータセットを公開している。データセットのオープン化を推進することで「データサイエンスに基づく人文学(人文情報学)」という新たな学問分野の創出などを目指している。KMNISTは、主に画像認識を目的としたディープラーニング/機械学習の研究や初心者向けチュートリアルで使われること、つまりMNISTの「くずし字版」(いわば強化版)として使われることを意識している。そのため例えば、MNISTは「0」〜「9」という10種類の手書き数字データセットとなっているが、KMNISTも前述した通り、10種類の手書き文字データセットとされているのである。MNISTが持つ「高い精度が出すぎてしまう」という欠点は、本稿で紹介するKMNISTによって補える可能性がある。KMNISTデータセット全体は(MNISTと同じく)、6万枚の訓練データ用(画像とラベル)1万枚のテストデータ用(画像とラベル)合計7万枚で構成される(※「ラベル」=正解を示す教師データ)。幅28×高さ28フィールド(=784フィールド)となっている(※「フィールド」=データを画像化する場合には「ピクセル」に対応する。RGBで作るグレースケールでは、0が黒で、255が白となり逆なので注意してほしい)。doi:10.20676/00000341なお、KMNISTでは厳密には、本稿で説明しているKuzushiji-MNISTを含む、下記の3種類が提供されている。多くの文字種を使って機械学習したい場合にも活用できるだろう。Kuzushiji-Kanjiに含まれるdownload_data.py(Pythonファイル)を利用することをお勧めする。kmnist-test-labels.npz:......テスト用のラベル(1万枚)という4つのファイルが、.jpgのような一般的な画像ファイルではなく、「MNIST独自のフォーマット(.gzファイル)」と「NumPyフォーマット(.npzファイル)」を持つ単一の画像データセットで提供されている。これらのファイルをダウンロードして読み込むプログラムを作成する必要があるわけだが、Python環境であればdownload_data.pyを使うことで、ムダな作業を減らすことができる。FORMAT」を確認してほしい)。NumPyフォーマットの場合、Python環境であれば簡単にロードできるので便利だ。本稿では、NumPyフォーマットをお勧めする。参考までに、どのようなコードを書くことになるのか、コード例をリスト1に示しておく(※詳しい説明は割愛するので、コメントを参考にしてほしい)。メールマガジンをご購読ください。申し込みページへITmediaはアイティメディア株式会社の登録商標です。