BERT2022/05/27に公開・約2,700字ツイート#自然言語処理#NLP#bert#sentenceberttechはじめに自然言語処理の勉強も始めました。BERTとは?自然言語処理モデルであるBERTの一種です。Network」という手法を使い、BERTよりも精度の高い文章ベクトルの生成ができます。BERTを改良したモデルとして2019年に発表されました。BERTと何が違うの?BERTと違って、複数の文章のクラスタリングに有効です。BERTでも、ラベル付きデータを用意してファインチューニングを行い、2つの文章を高精度で比較することは可能です。複数の文章をクラスタリングするには精度が悪かったり精度がいまいちだったり課題がありました。BERTで複数の文章をインプットとして推論するように実装するのはおすすめできません。BERTが役に立ちます。Network」という手法を使うことにより改善されています。実際、文章の類似度を見てみても、精度が高い結果が得られました。BERTだと65時間かかるものが、なんと5秒に短縮されています。BERTの効率性の良さが読み取れると思います。あと、「BERTの精度を維持した状態」というのがポイントです。論文を引用すると以下のとおりです。