達、以下「ストックマーク」)は、2019年10月25日、ディープラーニングを用いたアルゴリズムであるXLNet(エックスエルネット)の日本語事前学習済モデルを初公開いたしました。様々なタスクを高精度で解くという意味でこれまで最も良いとされていたのは「BERT」と呼ばれるモデルで、日本語のBERT事前学習済モデルとそれ以前にはELMo学習モデルにおいても公開してまいりました。この度は、20を超える評価タスクでBERTの精度を超えたXLNetについて、大規模日本語ビジネスニュースコーパスを学習したXLNet(MeCab+Sentencepiece利用)モデルを初公開します。XLNetを適用することにより、特にエンティティ抽出の精度がさらに向上し、これまで人が文章を読まないと判断できなかったビジネスおける新しい製品名やサービス名、新興企業などを事前の辞書(コーパス)なしに自動抽出することが可能となり、大量のビジネス文章から精度のよい洞察を導くことが可能となります。▼モデルのダウンロードリンク及び詳細はこちらからhttps://qiita.com/mkt3/items/4d0ae36f3f212aee8002▼自然言語処理とは人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野です。▼ディープラーニングとは人間が自然に行うタスクをコンピュータに学習させる機械学習の手法の一つです。▼XLNetとはディープラーニングを用いた自然言語処理は翻訳、QAタスク、文書分類など多岐にわたるが、それらのタスクを解く際は、タスクにまたがって有用な表現を教師なしで取得する「事前学習」と、事前学習の結果をもとにタスク用に再学習させる「微調整(fine-tuing)」という2段階にわけるという手法が近年とメジャーとなっています。事前学習においては、BERTという手法と、Seq2Seqという自己回帰を用いた言語モデルの2つが頻繁に使われています。BERTは、順方向・逆方向の情報をうまく扱えますが、予測対象の単語同士の依存関係を学習しにくいという特徴があります。Seq2Seqのような自己回帰言語モデルは順々に単語を読み込ませるため、予測対象の単語同士の依存関係を学習できますが、順方向・逆方向の情報を同時に扱えないという問題がありました。XLNetは、予測対象の単語同士の依存関係を学習できる自己回帰言語モデルでありながら、自己回帰言語モデルの弱点でありBERTの良いところである「順方向・逆方向の情報を同時に扱える」性質を持っています。最先端の自然言語処理の研究をベースに、組織で使うニュース及びナレッジ共有プラットフォーム「Anews」、AIが競合の動向を瞬時にリサーチし経営の戦略策定をサポートする「Astrategy」、社内外のテキストデータや営業日報・商談メモを解析し、営業戦略を支援するサービス「Asales」を提供しています。達このプレスリリースには、メディア関係者向けの情報があります。登録済みの方はこちらメディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。ディープラーニング言語モデル関連URLhttps://stockmark.ai/プレスリリース素材ダウンロードこのプレスリリース内で使われている画像ファイルがダウンロードできます。シェアページトップへ戻るストックマーク株式会社フォローフォローするとどうなる?フォローするとどうなる?フォローした企業がプレスリリースを配信すると、あなたにお知らせメールが届きます。あなたのアカウント画面には、フォローした企業のプレスリリースがタイムライン表示されます。フォローするには、Facebookアカウントを使用してログインする必要があります。フォロワー(13)もっと見るフォローするには、Facebookログインを行う必要があります。Facebookでログインまたは登録フォローするとどうなる?フォローした企業がプレスリリースを配信すると、あなたにお知らせメールが届きます。あなたのアカウント画面には、フォローした企業のプレスリリースタイムラインが表示されます。UU【コロナウイルス対応】全世界に知育アプリを無償提供。UU【コロナウイルス対応】全世界に知育アプリを無償提供。UUAIで国内外の新型コロナウイルス情報や企業動向をリアルタイムに収集。