Java版は、統計モデルプロセッサー(平均化パーセプトロン)、正規表現、ガゼティア(辞書)により固有表現を抽出します。固有表現編集により、抽出した固有表現の出力を編集したり、プロセッサー間での固有表現が異なる場合など、プロセッサーのウェイト調整で最適なものを選択できます。日本語と中国語の複合化を無効にしました。ウィキデータのリンク用に内部データベースを更新しました。Typeフィールドは、複数のサブタイプをサポートするようになりました。一部のエンティティのQIDは、Wikidataが更新されてインデックスが再作成されたため、以前のバージョンとは異なる場合があります。ReutersナレッジベースのID)を返します。バグ修正DNNの実行中に発生する可能性があるNULLポインター例外を修正しました。7.42.22019年7月バグ修正ユーザ辞書Gazetteerのマルチスレッドバグを修正しました。新Flinx曖昧性解消モデルに実行時に制御するオプションのパラメーターファイルが前回供給したパッケージ内から欠落して精度不良が生じていましたが、再追加することで改善しました。エンティティリンクで日本語文字が簡体字中国語に誤って正規化されたケースを修正しました。これは以前のリリースでも一部修正されていた問題です。中国語ファイルシステムの言語コードは均一に3文字に修正しました。エンティティ抽出とエンティティリンクは、最新バージョンのRBLを使用するように改善されました。インストールをより簡単にするためドキュメントおよび言語パッケージの解凍およびインストールするスクリプトを追加しました。日本の日付抽出に新しい年号の令和を追加しました。7.41日本語でカタカナ表記内に中黒がある場合、エンティティを分けずに一つのエンティティとして出力するように改善しました。Linking(エンティティ参照)で最後の文字が中国語簡体字に変更される問題を改善しました。(ELK-118)IncludeDbPediaTypesオプションがオフの場合、kb-linkerのファインタイプの情報がエンティティタイプに反映されない問題を改善しました。(ELK-115)言語ごとに配布パッケージを準備しました。7.39リンカデータパッケージサイズの軽量化。7.38.1朝鮮韓国語のJosa(後置詞)と複合語の処理を改善し、抽出精度を向上しました。kbLinkerと、それによる700以上のDBpediaタイプ出力が、REXのサポートしている全言語に対応しました。7.36.0新たなプロセッサーとして「kbLinker」が追加されました。この機能によりエンティティタイプが10種類増え、700以上のDBpediaタイプの出力が可能になります。使用するには、includeDBpediaTypeオプションを使用してください。ハンガリー語のサポートが追加されました。7.35.0日本語分かち書き精度が向上しました。(TEJ-1139、TEJ-1173)「@」や「#」などのSNS用文字はエンティティには含まれないようになりました。SNS用文字を含むにはEntityExtractor.setRetainSocialMediaSymbols()をお使いください。(TEJ-418)統計モデル信頼度スコアの強大化を防ぐよう改善しました。7.33.0エンティティ・リンカーエンティティリンクにカスタムデータを追加できるようにしました。(ELK-30、ELK-41、ELK-44、TEJ-1150)英語、アラビア語、朝鮮語に対し、TensorFlowベースの深層学習モデル(BETA)が使用できるようにしました。7.32.0ヘブライ語の固有表現の種類「タイトル」のサポートを追加しました(APE-1641)。追加しました(TEJ-1137)。リリース7.30.0韓国語の統計モデルの精度を向上しました(APE-1737)。統計モデルを新しいディープラーニングモデルに置き換える新しい実験的なAPIの一部です。提供するために使うという選択肢もあります。現在英語とアラビア語のみに提供されています。オペレーティングシステムによっては、深層ニューラルネットワークモデルをサポートしないものもあれば、良好なレイテンシーを提供しないものもあります。7.29.0FTKでカスタム知識ベースを使いエンティティの曖昧さ回避モデルを作成できるようにしました。(ELK-13、ELK-14、ELK-16、ELK-22、ELK-34)エンティティのリンク信頼度に関するしきい値を追加しました。(TEJ-1068)FTK日本語トレーニング時のURL処理を改善。(TEJ-1048)アプリケーション・ガイドとカスタマイズ・ガイドを1つに統合しました。7.28.0エンティティ・リンク結果に対する信頼度スコア(linkingConfidence)と統計モデル信頼度スコアを追加しました。7.27.0顕著性分類機能が追加されました。顕著性の計算はEntityExtractor.setCalculateSalience()で行えます。REXFactoryConfigurationかREXAnnotatorConfigurationの中でcalculateSalienceを設定することでも有効になります。(TEJ-936)カスタム・プロセッサーをAPIで登録できるようになりました。TEJ-982)多言語で複製されていた正規表現を統合しました。(TEJ-785)バイナリgazetteer辞書を各言語複数使えるようにしました。7.26.0信頼度計算が精度により比例するように改善しました。しきい値がより適切に設定できます。TEJ-919)統計モデルで絵文字対応可能になりました。(TEJ-924)REXの言語別最小インストール・パッケージを作成する為のpythonスクリプト「repack-rex.py」を提供。優先するように設定されました。7.25.0カスタム拒否プロセッサーの追加が可能になりました。TEJ-880)Redactorの動的ルールの優先順位付けとサブタイプの処理が改善されました。TEJ-858)英語での文書内同名義選択が改善されました。(TEJ-867)文書内でのORGANIZATIONタイプは部分一致でも同組織として選択できるようになりました。7.24.1ベトナム語フル対応が追加されました。DFS上でのREX使用例を追加しました。README.mdにあります。英語文での’he’と’she’の同名義選択を選択します。(TEJ-831)Regexパターン・マッチとgazetteer辞書での拒否設定に全タイプ(wildcard)が指定できます。(TEJ-857)大文字・小文字の自動判別の向上(英語のみ)。7.23.1Spark上でのREX使用例を追加しました。./samples/SparkEntityCount/README.mdにあります。返信する情報が全言語か、あるいはライセンスが有効な言語のみかが選択可能になりました。7.22.0ベトナム語の電話番号と日付の抽出が正規表現の利用で可能になりました。APIのREXアノテーター作成がドキュメント別に作成可能な速度に向上しました。APIの起動時間も短縮しました。EntityAnnotatorFactorySample.javaを参照して下さい。7.21.0REXは今後、新クラスEntityとMentionで結果を返します。ドキュメントでは各Entityが複数のMentionsを持つことが可能です。このバージョンでは今までのEntityMentionは使用できますが今後はEntityMentionsとcoreferenceChainIdは使用不可になる予定です。(TEJ-702)マレーシア語の統計モデルを改善し、新しいgazetteer辞書を追加しました。kb-linkerはエンティティを知識ベースのデータと結びつけます(英語のみ)。Platform互換レベル58.2にアップグレードされました。SDKを使用する場合は、同じ互換性番号を持つバージョンを選択する必要があります。(TEJ-702)欧州言語での大文字モデル選択を改善しました。(TEJ-687)欧州言語での大文字モデル選択を改善しました。overlayDataDirectory)メソッドを追加しました。(TEJ-731)REXCmdコマンドライン・ユーティリティーでは、追加の正規表現ファイルを指定できるようになりました。7.20.0複数の統計モデルを連続で使用できるようになりました。Endianモデルと辞書を正しくマップします。(TEJ-664)RBLのjarはREXのjarファイルに統合されました。7.18.0本リリースはSUPPO-569の不具合を解決するものです。7.17.0本リリースより教師なし学習の統計モデルのカスタマイズパッケージ提供を開始。詳細は統計モデルのカスタマイズをご覧ください。マレーシア語を部分的にサポート。7.16.0大文字・小文字の最適な処理を行うよう、CaseSensitivityモデルを自動的に選択する設定を追加。本設定はデフォルトでは使用していません。使い方はサンプルプログラムやJavadocをご覧ください。(TEJ-568)ドイツ語、イタリア語、オランダ語、スペイン語の大文字・小文字を無視するモデルを追加。(TEJ-566)JDK1.7に更新。1.6以前のJDKはお使いになれません。(TEJ-551)複数のBrownクラスタリングにより、英語の統計モデルの精度を向上。(TEJ-379)デフォルトで無効になっている固有表現タイプは、各言語のsupplementalディレクトリーにある正規表現ファイルをロードして抽出できるようになりました。詳細はJavadocのEntityExtractor.addRegularExpressions()をご覧ください。(TEJ-587)PERSONの固有表現編集ルールを改良。(TEJ-115)EntityMentionsおよび付随するフィールドの解説をマニュアルに追加。ユーザー定義のテキストガゼティアを大文字・小文字の区別なく適用できるようになりました。(TEJ-56)指定言語のデータを返せない時、RosetteUnsupportedLanguageExceptionエラーを返るようになりました(従来は一般的な実行時の例外エラーを返していました)。(TEJ-536)重複するガゼティアのエントリーがある場合、すでに存在するエントリーを上書きするよう変更しました。指定なく固有表現が抽出できるようになりました。(TEJ-525)互換性バージョン(c56.6)を追加。SDKを同一アプリケーションでお使いになる際は、同一互換性バージョンの製品をお使いください。Indonesia)のサポートを追加。属性を削除してください。(TEJ-510)正規表現とガゼティアの処理速度とメモリー消費を向上。(TEJ-489)ポルトガル語とフランス語の統計モデルプロセッサーの精度を向上。(TEJ-456)APIを追加。詳細は{get,set}ExcludedEntityTypesをご覧ください。実験的なAPIですので、将来的に削除や変更の可能性があります。7.12.1未対応の言語を処理した場合にREXは例外処理を行うようになりました。nullで表すようにしました。7.12.0鮮語の抽出精度を向上。ドキュメント内の同一固有表現の共通化機能の精度を向上しました。(APE-1111)朝鮮語の接頭辞と接尾辞を正しく解釈し、ドキュメント内の同一固有表現の共通化機能の精度を向上。ユーティリティーに諸機能を追加。pretty-printsをサポートし、出力が見やすくなりました。IDを基に、同一固有表現を認識。IDと共にコンテキストを表示します。Text形式をREXCmdで処理できるようになりました。(TEJ-455)部分一致する正規表現やガゼティアのトークンオフセット値の出力結果を修正。従来はSMPのコードポイントは二文字として扱われていました。オプションで大文字・小文字の区別を無視できるようになりました。対応言語は英語、フランス語、ポルトガル語です。複数の言語を解析できるようになりました。(TEJ-432)ポルトガル語の時間と金額を抽出する正規表現を追加。Detectorを追加。文章を形成していない入力から固有表現を抽出できるようになりました。オブジェクトを表示して見やすくなりました。2.2.0com.basistech.rosette.rex.EntityCursorを廃止予定に追加。com.basistech.rosette.dm.Annotatorをお使いください。リリース2.1.0で除外した正規表現パターンを修正して復活。2.1.0固有表現の抽出に、ドキュメントレベルAPIを追加。extraction)に置き換えていく予定です。setConfidenceThresholdメソッドで設定した値よりも信頼度が低い場合、その固有表現は無視されます。(TEJ-60)すべてのプロセッサー(統計モデル、正規表現、ガゼティア)から返る固有表現に、正規形を出力するようにしました。(TEJ-288)CPUを消費する、不完全な終わり方をする正規表現を除外。固有表現の抽出に影響を及ぼしますので、これらが必要な場合はsupport@rosette.comにお問い合わせください。REX-JEのバージョン番号を出力するようにしました。簡単に起動できるようになりました。出力が、従来よりも詳細になりました。要素を確認できるようになりました。