求め方について説明します。略で、単語の出現頻度を表します。略で、逆文書頻度を表します。この指標は、ある単語が多くの文書で出現するほど値は下がります。特定の文書にしか出現しない単語の重要度を上げる役割を果たします。一般語フィルタとして働きます。実際にはここで定義した以外の計算式もあります。計算式の違いは、方言みたいなものです。プログラムで計算してみます。3つの文書(コーパス)が次のような内容だとします。求めることができます。計算すると、次のようになります。出した値と一致しません。標準的な式ではないらしいです。あるので、こちらを参照してください。