IT研究所IT研究所IT系のコンテンツ実験HOMEユーティリティDoyCalendarブログMenuSidebarPrevNextSearchRSSFeedlyホーム>pythonBERTモデルをPytorchのモデルへ変換2019年11月29日Tensorflowで作成したBERTモデルを、Pytorchへ変換します。こちらに方法が書いています。変換モデルモデルを自分で計算して作ってもいいのですが、公開しているものがあるので、そちらを使います。KNPこちらはKNPを使って分かち書きしたWikipedia日本語版を元に作成しています。KNPを使ったことはないのですが、実際に使うときにはMeCabで分かち書きをしても大丈夫でしょう。SentencePieceこちらのものは同じく日本語Wikipediaを用いて、SentencePieceによる分かち書きをしたものです。TransformersPytorchで用いるのライブラリです。以下のコマンドでインストールしておきます。transformers変換SentencePieceで作成したモデルにはPytorch用のモデルがついていませんので、変換してみます。こちらには以下のファイルが含まれています。wiki-ja.vocab123456model.ckpt-1400000.metabert_config.jsonmodel.ckpt-1400000.data-00000-of-00001wiki-ja.modelmodel.ckpt-1400000.indexwiki-ja.vocabこのコマンドでpytorch_model.binというファイルへ変換します。このようなエラーが出るときの対応。Notebookが動かしたいのでメモ。