モジュールを使って文章の類似度を計測する方法のメモです。いう手法を使って機械的に判定しようというモジュールになります。インストールが簡単です。perl-String-Trigramソースからインストールする場合はこんな感じに。installString::Trigramモジュールを使ってみるインストールが終わったらこんなスクリプトを書いてテストしてみます。'今は真冬なので外がとても寒いです。'冬の外はとても寒いです。'今は真夏なのに外がとても寒いです。どれ位類似しているかを計算します。実行結果はこんな感じに。近づくほど類似しているという結果になります。指定した文字数に文章を分割して比較するアルゴリズムなので文章の意味を加味していません。方が似ているという判定になります。分割するとこのようになります。真冬な冬なのなのでので外で外が外がとがとてとてもても寒も寒い寒いでいですです。分割して分割した文字単位で比較しスコアを計測します。Trigramの使いみちこのアルゴリズムの使いみちですが、実際に試した感じ比較的短い文章のコピペチェックツールに使えます。文章内の単語を少しだけ変えたような単純なリライトであればこのアルゴリズムでしっかり検知可能です。他に手軽な方法としてはコサイン類似度という方法もあるので覚えておくといつか役に立つかも。