itSumEvalというPythonのテキスト評価用のライブラリを試すための環境構築です。環境の構築はCentOS7系でPython3.6で実施しました。SumEvalの詳しい説明は以下になります。・ROUGEを訪ねて三千里:より良い要約の評価を求めてhttps://qiita.com/icoxfog417/items/65faecbbe27d3c53d212ROUGE-Xスコアという様々なテキスト要約の評価が行えます。BLEUスコアという同じ値のスコアリング集計をした評価が行えます。実際には係り受けなど文章としての要約をしたスコアリングなど評価が実施できるので様々な点で利用ができます。sumEvalのインストールsumEvalの利用にあたっては以下などが必要になります。今回は全部入れてみました。spaCyのインストール・公式サイトhttps://githubja.com/explosion/spacyインストールは以下で実施します。enJanomeのインストール・公式サイトhttps://github.com/mocobeta/janomeインストールは以下で実施します。janomepythonrougeのインストール・公式サイトhttps://github.com/tagucci/pythonrougeインストールは以下で実施します。git+https://github.com/tagucci/pythonrouge.gitrougescoreeのインストール・公式サイトhttps://github.com/bdusell/rougescoreインストールは以下で実施します。git+git://github.com/bdusell/rougescore.gitsumEvalのインストール・公式サイトhttps://github.com/chakki-works/sumevalインストールは以下で実施します。sumevalここまででsumEval自体のインストールは完了で、ROUGE-BEの日本語の評価以外は実施できます。以下では折角なのでROUGE-BEの日本語の評価に必要なCaboChaのインストールを行います。CaboChaのインストールインストールにあたっては以下のサイトを参考にしました。installCaboChaのインストールこちらから最新版を取得して「/tmp」に保存します。ldconfigこちらでインストールは完了です。それでは評価してみます。SumEvalでの日本語の評価まず、BLEUでのテストを行います。"今日から俺は")print(score_ja1)print(score_ja2)print(score_ja3)print(score_ja4)print(score_ja5)print(score_ja6)以下が結果です。test1.py9.1932271522491840.22957488466614330.164497592984658160.22957488466614330.194330944363760750.2295748846661433正直、ちょっとわかりにくいかなという印象でした。「score_ja1」だけが飛び抜けてスコアが高くなってしまったので、少し難しいかなという印象です。次にROUGEでの評価です。"\n"))以下が結果です。0こちらは少し差が出ました。ROUGE-BEだと値が0になります。条件を変えての評価です。"\n"))以下が結果です。0.4ROUGE-BEでの値はでましたが、ROUGE-Nが値が出ないようで。評価ももう少し実施していくと値の精度が良いものが出るかもしれません。このブログは株式会社CoLabMixによる技術ブログです。GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。