近年提案されたBERTが様々なタスクで精度向上を達成しています。評判分析)でfinetuningすることによってそのタスクを高精度に解くことができます。多言語pretrainedモデルには日本語も含まれていますので日本語のタスクに多言語pretrainedモデルを利用することも可能ですが、基本単位がほぼ文字となっていることは適切ではないと考えます。そこで、入力テキストを形態素解析し、形態素をsubwordに分割したものを基本単位とし、日本語テキストのみ(Wikipediaを利用)でpretrainingしました。(WWM)版の2種類があります。WWM版の方がfinetuningしたタスクの精度が少し高い傾向にあります。WWMの詳細はBERTの公式サイトをご覧ください。(bert_config.json)が含まれています。(pytorch_model.bin)も同梱しています。pytorch-pretrained-BERTはtransformersという名前にかわっています。こちらを使う場合は以下のモデルをお使いください。transformersで使う場合、モデルの絶対パスのどこかに「bert」の文字列を含んでいる必要があります。ように配置してください。以下に日本語pretrainedモデルの詳細を示します。(run_classifier.pyなど)を用いてfinetuningする方法は公式で配布されているpretrainedモデルと同様で、以下のようにオプションを指定してください。(v2.0.0-rc2)で形態素単位に分割してください。(BPEは適用する必要はありません。finetuning時に語彙リストを参照しながら自動的にsubwordに分割されます。オプションをつけてください。これをつけないと、濁点が落ちてしまいます。tokenization.pyの以下の行をコメントアウトしてください。これを行わないと漢字が全て一文字単位になってしまいます。オプションをつけないでください(つけるとTrueになります)。公式スクリプトと同様、pytorch_pretrained_bert/tokenization.pyに対して、上記のコメントアウトをしてください。..のようにしてモデルを指定してください。おいておくと、tokenizerの設定をすることができます。同梱したzipの中に入れていますので解凍すれば自動的に配置されます。行のコメントアウトを行う必要がありません。(日本語twitterデータで学習)で公開されています。