日本語の文章中から単語を切り出す定番のソフトとして、「茶筅」や「案山子」がありますが、そのまま専門用語の抽出に使うには次の2つの問題があります。ひとつは、複合語に対応していないことです。複雑な概念を表すことが多くなります。「茶筅」の場合は単語を品詞単位で細かく分割するため、そのまま使うには難があります。ひとつは、どの用語が重要であるか判断する仕組みを持たないことです。システム」があります。合もある)を重要度の高い順に返すものです。全面的に組みなおしたものです。バージョン5のPerl(JPerlを含む)で動作します。アルファ版ですが、Python3版も公開していります。利用については、Python版TermExtractを参照ください。モジュールの使用を推奨しています。これは標準のPerlモジュールには含まれていません。マシンの環境によっては、別途インストールする必要があります。使うよう設定できます。用語の抽出機能自体は変わりませんが、学習用DBの内容確認で、いくつか使えなくなる機能があります。TermExtractは形態素解析ソフトの処理結果を入力とします。これを使う場合は形態素解析ソフトは不要です。組み合わせられる形態素解析ソフトは、現在のところ次のとおりです。英単語が区切りなしで処理されます。他の形態素解析ソフトにもTermExtractの仕様に沿った派生クラスを自作することで対応が容易です。形態素解析ソフトの入手やインストール手順は上記のリンクからお願いします。現するためバークレーDB用のファイル(2種)を作成します。バークレーDBの代わりに、SDBMを使う設定もできます。指定したDBファイルが存在しなければ新規に作成を試みます。デフォルトはプログラムの実行ディレクトリの"stat.db"と"comb.db"です。学習機能をまったく使わないのであれば、DBファイルを作成しないこともできます。このモジュールは上記DBの排他制御のための機能を持ちます。この機能のためマシン上にディレクトリの作成・削除ができる場所を用意する必要があります。オプションでこの排他制御を行わないこともできます。データの保障はされませんが、マシン上に一時ディレクトリを作らずにすみます。次からモジュールを入手し、解凍・展開します。OSに応じて次のとおりインストールします。次のコマンドを順次実行することでインストールします。ディレクトリにフォルダごとコピーしてください。-Vコマンドで確認できます。ダブルクリックし、実行します。ンドプロンプトから"win_install.pl"を実行します。win_install.plとコマンド入力して下さい。その際の使用法のサンプルを示します。サンプルスクリプトを見ればわかりますが、専門用語の重要度の計算方式で、いくつものオプション指定ができます。オプションの設定方法は、以下に示す各モジュールのドキュメントをご覧ください。センター中川研究室のホームページに詳しい説明がありますので、ここでは理論の概要と、補足情報を示します。以下は日本語の文章の例で示していますが、英文でも同じです。和文の場合は「茶筅」や「和布蕪」といった形態素解析ソフトを使い、文章を単語に分割します。その際に、分割した単語の品詞情報も合わせて情報として出てきます。複合語は、語の並びと品詞情報を元に組み立てます。基本的には名詞が連続で出現した場合、それらを統合し複合語とします。合語に分割する方法の2つを用意しています。ストップワードは、次の文献に書かれていたものを基本としています。0-13-463837-9)重要度計算の仕組みこのモジュールでの専門用語は、単語そのものか複数の単語を組み合わせて作られます。この複合語を構成する最小単位の名詞を特に「単名詞」と呼びます。この単名詞が他の単名詞と連結して複合語をなすことが多いほど、重要な概念を示すと考えます。この語は次のとおり3つの単名詞に分割できます。的に分かっているとします。複合語全体の重要度はこれらの6つ(単名詞数x2)の数値の平均から求めます。平均でとるようにしています。数に1を加算した値を用いています。前述した重要度に、ドキュメント中の専門用語の出現頻度を掛けることもできます。これはオプションにより選択できます。デフォルトは、出現頻度を用います。この計算方式は、異なる2つの要素の掛け合わせとなりますので、重要度中に占める、それぞれの比率が問題となります。デフォルトは、連接回数の相乗平均に、ドキュメント中の用語の頻度を掛けたものです。これを、連接回数の相乗平均のx乗にすることができます(xは任意)。種類にかかわらず出現しただけカウントする方法(延べ数)、そして情報理論的に見た連接回数(パープレキシティ)の3つの方法があります。統計データで、「情報」という語が「科学」の前に2回、「技術」の前に3回連接したことが分かっているとします。この場合連接語の異なり数と延べ数は次のようになります。詳しくは、パープレキシティの仕様の詳細をご参照ください。これはオプションによって選択できます。デフォルトは「延べ数」を用います。学習機能(オプション機能)単名詞の連接情報は、元となるデータが多ければ多いほど正確な統計データが得られると推定されます。この学習機能は、いままでに処理対象としたテキストから単名詞の連接情報を蓄積し、重要度計算で用いるものです。雑多な文献を扱うと、結果として一般すぎる語が上位にきます。分野を特定した上でお使い下さい。デフォルトは現在処理対象となっているテキストのみから連接情報を得ます。これはオプションによって選択できます。デフォルトは学習機能がOFFになっています。次のメソッドを実行することで「学習機能」が有効になります。連接情報以外の重要度計算手法も実行できるようになりました。専門用語抽出システムでは用語の文章中の出現頻度をいままでも使ってきました。