retrieval:CLIR)に関する、以下のような実験に使用することができます。(SLIR).*なお、MLIRのための文書集合はCJEとCJKEのみです。書かれた新聞記事の全文です。これらの新聞記事はアジア地域で1998年と1999年に発行されたものです。テストコレクションにはまた、これらの言語での検索課題および適合判定情報が含まれています。Relevant(部分適合)」「Irrelevant(不適合)」の4段階の適合度によって文書の評価が実施されています。評価指標を算出するためのtrec_evalソフトウェアでは2値の判定が採用されているため、閾値を決めて、上記の4段階の適合度を2値へと変換しています。そのため、適合判定ファイルは次の2種類のものが用意されることになります。(a)「Rigid」適合:「高適合」と「適合」を適合として扱う。適合判定ファイルの書式は以下のとおりです。(コメント)各フィールドはTABで区切られています。リストは検索課題の昇順でソートされ、さらにその中は文書IDの昇順になっています。検索課題IDは検索課題の3文字の番号です。ダミー・フィールドには、4段階の適合度の情報が含まれています。Sは「高適合」、Aは「適合」、Bは「部分適合」」、Cは「不適合」です。適合判定フィールドには0と1の2値が含まれています。0は不適合、1は適合です(上記のそれぞれの閾値に従って、rigidとrelaxedの2種類のファイルがあります)。コメントフィールドには、判定の根拠となったフレーズや文が記載されていることがあります。適合文書数が1000を超えた場合、trec_evalによって計算される平均精度の値の上限は1.0未満になるようです。0.9328)となるようです。注意事項---テストコレクションに含まれる文書データは、作成機関等から有償または無償でNTCIRで使用するために提供されたものです。いずれも、著作権があり、商品としての価値もあるものですが、情報アクセス研究におけるテストコレクションの重要性に鑑み、とくに、研究目的での使用を許諾していただきました。我々研究者は、今後も継続して文書データが研究に使用できるように、文書データ作成・提供機関からの信頼に応え、良好な関係を保つことが重要です。そのため、利用規程等をよく理解し、文書データ作成・提供機関の権利を侵害しないように十分に配慮し、研究目的に限って使用してください。テストコレクションの申込み方法は次の通りです。NIIから配布するものはいずれも無料です。NIIで審査後、こちらからご連絡致します。利用許可が出た場合は、下記の要領で「利用許諾に関する覚書」を2部作成し、下記の送付先までご郵送下さい。以下の送付先に郵送してください。NII側の押印後、テストコレクションの利用許諾を示すものとして1部を利用申込者にお送りし、1部をNIIで保管します。2015-07-22ntc-admin。