2019)は、セマンティックテキスト類似性(STS)のような文ペア回帰タスクに新しい最先端のパフォーマンスを設定しました。両方のセンテンスをネットワークにフィードする必要があるため、計算のオーバーヘッドが大きくなります。10,000のセンテンスのコレクションから最も類似したペアを見つけるには、BERTを使用した約5,000万の推論計算(約65時間)が必要です。クラスタリングなどの教師なしタスクには適していません。この出版物では、Sentence-BERT(SBERT)を紹介します。これは、シャムおよびトリプレットネットワーク構造を使用して、コサイン類似性を使用して比較できる意味的に意味のある文の埋め込みを導出する、事前トレーニング済みのBERTネットワークの変更です。RoBERTaの65時間からSBERTの約5秒に短縮されます。SBERTとSRoBERTaは、一般的なSTSタスクと転送学習タスクで評価され、他の最先端の文埋め込み方法よりも優れています。BERTは文章単位でベクトル化します。ここが、文章同士の類似度で精度の高い結果が得られる理由でもあります。BERTの仕組みPooling層を追加しているのが特徴です。BERTでは以下のことができるようになります。これだと、BERTとあまり変わらないですね。それはBERTと比較して精度が大幅に向上しています。BERTでもファインチューニング次第で精度を高くすることが可能ですが、かなり限定的であることがBERTの課題です。BERTによって、BERTよりも広範囲に高い精度が得られるようになりました。BERTと比較して効率がよいのも特徴です。実際推論に要する時間も短くなっています。Transformers」があります。このフレームワークを利用して手軽に始めることが可能です。transformersモデルです。センテンスと段落を768次元のベクトル空間にマッピングし、クラスタリングやセマンティック検索などのタスクに使用できます。transformersの学習方法に記載されているモデルですが、品質が悪く現在は非推奨となっていました。事前学習モデルのリストは以下にあります。Lossよく「Triplet」というワードが登場しますが、トリプルの類似語で「3つの組」という意味があります。これは特徴量を「positive」、「negative」、「anchor」の3つに分類していることから「Triplet」と呼ばれています。Transformers実践インストール方法インストールは簡単です。sentence-transformersその他、詳細は以下へ。amazon.co.jp/dp/B0C1VWSPV8バッジを贈って著者を応援しようバッジを受け取った著者にはZennから現金やAmazonギフト券が還元されます。Transformers実践インストール方法Zennエンジニアのための情報共有コミュニティAboutZennについて運営会社お知らせ・リリースGuides使い方Publicationよくある質問LinksTwitterGitHubメディアキットLegal利用規約プライバシーポリシ。