本データセットはWikipedeiaの修正履歴から獲得した日本語入力誤りデータセットです。Wikipediaの版間で文単位の差分を取り、それらをフィルタリングすることで、入力誤りとその修正文ペアを抽出しています。含まれており、合計約50万文ペアです。詳細については文献[1]を参照してください。†データは以下のようなjsonl形式です。"信長の死後、豊臣秀吉が実権を握ると、前田利家は加賀も領して、金沢に入場した。"信長の死後、豊臣秀吉が実権を握ると、前田利家は加賀も領して、金沢に入城した。"入城"}]}categoryは入力誤りの種類(substitusionは誤字、deletionは脱字、insertionは衍字、kanji-conversionは漢字誤変換)、pageはWikipediaの記事ページID、pre_rev(post_rev)は修正前(後)のWikipediaの修正版ID、pre_loss(post_loss)は修正前(後)の文を文字単位LSTM言語モデルに入力したときの合計損失値、pre_text(post_text)は修正前(後)の文、diffsはpre_textとpost_textの形態素単位の差分です。†データセットはtrainセットとtestセットがあります。trainセットと違い、testセットはクラウドソーシングの評価結果でフィルタリングをしているので、よりノイズが小さいデータセットとなっています。詳しくは日本語Wikipediaのライセンスを参照してください。