Understudy)という言葉がよくでてきます。これは、機械翻訳の精度を自動的に評価するための指標のことです。機械翻訳の出力結果と参照訳(通常は人手翻訳)を比較して類似度を計算し、0~1の値を出します。通常はパーセントで表示します。数字が高いほど参照訳と一致しているということで品質が高いとみなされます。BLEUスコアを計算するソフトウエアではコマンド操作が必要なので、開発者でなければ、実際に任意の文章を機械翻訳出力してスコアを調べた人は少ないかもしれません。今回紹介するのは、西野竜太郎氏が作成した、GUI(グラフィカル・ユーザー・インターフェイス)から実行できるデスクトップ用ソフトウェアの「シンプルMTスコア(デスクトップ)」です。以下のページからダウンロードできます。https://www.nishinos.com/simple-mt-scoreダウンロードファイルはZIP圧縮されています。解凍してSimpleMTScore.exeをダブルクリックすればソフトウエアが起動します。インストールは不要です。Web版も利用できます。https://mtscore.nishinos.work/BLEUスコアの解釈としては、以下が参考になります。https://cloud.google.com/translate/automl/docs/evaluate?hl=ja#bleu実際に試してみると分かるように、スコアの計算は、あくまでも出力結果と参照訳だけで行われます。「原文」は全く関与していません。スコアが高くても、評価者が原文と突き合わせチェックをすると、大きな誤訳が発見されて全体的な評価が下がることがあります。ちなみに、前回のブログ記事で紹介したNICTのプレスリリースでは、以下のように書かれていました。NICTの自動翻訳エンジンにSMBC日興証券のアナリストレポートの日英対訳データを学習させ、金融分野に特化したAI自動翻訳システムを開発しました。従来の汎用AI翻訳と、金融に特化した本システムとの比較において、翻訳精度スコアBLEUで、従来の13.1から「高品質な翻訳」の域である42.8となり、3倍強の改善を達成することができました。開発したMTテストセットの冒頭から、25文ほど抜き出してGoogle翻訳で出力し、シンプルMTスコアでBLUEスコアを出してみました。彼は多くの研究者を集めた。彼は標本を集めている。彼は論文を集めて本にした。彼らは会議室に集まった。学生が教室に集められた。この装置はバッテリ駆動だ。手順は左右同一である。プッシュボタンは簡易操作に最適である。委員会は彼らの訴えを却下。