Slideクラウド名刺管理サービス「Sansan」において、企業の動向をお知らせするために、ニュース記事中の企業名を抽出しキーとしてニュース配信に活用する。Slide以下は誤りの例である。出力をいかに正解に近づけるかが、抽出精度を高めるという目標に対しての課題となる。固有表現抽出では適合率と再現率が評価指標として一般的に用いられる。Slide固有表現抽出の性能を構成する要素を大きく分けると次の要素となる。改善できるようにするために、各要素についてガイドラインや設計といった仕組みを整備し、継続した改善を続けることが理想である。固有表現タグを手作業で付与する。学習データの作成には時間を要するため、効果的に作成するために実践している工夫を3点紹介する。Slideスプレッドシートでの作業が定着しているため、スプレッドシートで扱いやすいアノテーションガイドラインを作成する。迷った場合には、仮の答えとともに備考に記入する。備考については、依頼者が確認し答えることで、次回以降のアノテーションに活かす。下にスプレッドシートに記載したガイドラインを一部示す。Slide学習データがある程度作れたらモデルを学習しその結果を元にアノテーションを行う。具体的には、モデルの出力の修正作業がアノテーション作業となる。右図のD列に対して修正を行う。モデルの仮出力があれば作業が楽になる*。Slideモデルが効率良く学習できるデータを選定する能動学習を適用する。BERTベースのモデルに対応するために、バッチ能動学習を利用した。BERTベースの固有表現抽出で有効なことは確認済みである*。性能を向上させるために、様々な検討が必要である。その試行錯誤を行いやすくするための工夫について紹介する。utils実験およびモデル書き換えの容易さを重視し、誰でも改善を可能とする。上記の取り組みを実践し、これまでに4人が改善に取り組む。互いにコードレビュー可能な状態である。実運用上発生する個別の事象に対応するための処理を行う。学習だが、早急な対応が求められるため、規則処理による対処が多い。規則処理はだんだんと複雑になりメンテナンスが煩雑になる。それを回避するためのコーディング例を紹介する。Slide実際に試したり、使ったりすることで、出力に関する問題点や改善要望が出てくる。モデルを納品して終わりではなく、運用し継続して改善することが求められる。モデルを集中的に改善する段階では、評価結果と試用により改善したい点が出てくる。実稼働時には、定量的な観測結果や利用者からの要望を元に、改善したい点が出てくる。試用や実運用で実践している事例を紹介する。tagger.predict(“解析対象の文を渡す”)評価結果に加えて、応用先タスクで試用することにより、課題が見えてくる。試用をしやすくし、課題を集めるための試行回数を増やすために、試用のしやすい仕組みを作る。Slide利用者からのフィードバック例フィードバック:サービス名のSansanしか書かれていないのに、Sansan株式会社のニュースとして配信されている。格がある場合のみ抽出するようルールを追加する。固有表現抽出に関する課題を洗い出す。改善結果はすぐにデプロイできるように、デプロイパイプラインが構築されている。性能観測:記事をサンプリングし、抽出された項目の正しさを人手で確認する。対応:頻出する誤りを類型化し、改善に取り組む。Slide継続して改善するための取り組み事例について紹介した。次の改善を定める試用と実運用それぞれの要素について、初期作成者以外が改善できるようにするために、ガイドラインや設計といった仕組みを整備した。これらの要素は2回目以降もスムーズに取り組みやすい状態となっているため、継続した改善ができる。creators.TermsPrivacyDMCA。