Serviceを読んで理解し、同意したものとみなします。466件34数万~数十万語規模の単語が含まれた英語のテキストファイルがあり、そのテキストに含まれる全単語の出現頻度を求めたいと考えています。動詞の時制や三単現、名詞の複数形などの理由により単語に変化があっても、それらは同一視した上での頻度を求めたいです。同一視しなくてよいです)。動詞だけでなく名詞の複数形、形容詞の比較級なども同一視してカウントしたいです。ような単語の問題はありますが、それについては考慮せずにどちらかに寄せてしまって構いません。ワンライナーで書けてしまう処理であることは理解しています。単語の変化まで考慮するとなると、すぐに思いつく手では、別途単語辞書を持った上でマッピングしていくような処理が必要となりそうで、結構ごりごりと力技が要りそうに思われます。このような要求ははるか昔からありそうに思われるので、もしすでに同様の処理を行うスクリプトなりツールなりが存在するなら助かるのですが、どなたかご存知ないでしょうか。このような処理を簡便に行うアプローチが他にありますでしょうか。いずれかの環境で動作するものできれば無償で手に入るものであることが望ましいです。結果が得られるならshellに限らずGUIアプリでも可です。Stemmerがよく使われています。実装もいろいろあります。-lyなどの語尾を削って正規化するのにはかなりの精度があります。検索エンジンで索引をつくるときの前処理が主な用途で、辞書形にするものではないのですが参考まで。21:481ありがとうございます。キーワードにすれば目的とするものにたどり着けそうです。最終的に形にできたらここで報告させていただきます。票6信用度足りずコメントできないので曖昧ですが回答欄に失礼。TreeTaggerという形態素解析ツールで得られたlemma(基本形...?)を使って分類すれば目標は達成できそうです。前処理を行うことにしました。以下に実行手順を示します。記載の手順をそのまま行います。command.txt単語をカウントしたい英文ファイルをinput.txtとしています。上記のワンライナーでいったんsedのスクリプトファイルcommand.txtを生成します。command.txtの内容は次のようにひたすら置換コマンドが並んだものとなります。output.txt生成したsedスクリプトで不規則変化等している箇所をすべてlemma形式に一括変換します。another.こんな風に変換されます。count.txtこれで単語ごとの出現数を求めることができました。|回答スタック・オーバーフローに参加してくれて、ありがとうございます!質問の回答を共有してください。回答を説明し、自分の検討結果も共有してください。意見を述べること(意見を述べるなら、参照リソース、自分の経験で意見をサポートしてください)さらにサポートが必要な場合このヘルプを参考してください。“回答を投稿”をクリックすることで利用規約、プライバシーポリシー、及びクッキーポリシーに同意したものとみなされます。タグが付いた他の質問を参照するか、自分で質問をする。質問のフィードこのRSSフィードを購読するには、このURLをコピーしてRSSリーダーに貼り付けてください。