ぱわふるログインぱわふるスポーツが好きなWebエンジニアの日記。Webサービス作り・プログラミング・スポーツ・学問・投資など幅広く書いていきます。形態素の頻度を数えよ」プログラミング::Pythonプログラミング::自然言語処理あらかじめ「pip」とかで「homura」と「madoka」を入れておきましょう。ダウンローダーの「homura」で形態素解析済みの青空文庫のデータをダウンロード。ETA適当に解凍したら「madoka」(Pythonの辞書より省メモリかもしれないデータ構造を提供するライブラリ)で形態素をカウントです。print(morpheme)print(sketch['人'])print(sketch['面倒'])print(sketch['蕩尽'])出力された頻度(推定値)は以下のようになりました。1418808574271910実際の頻度は以下の通り。利用した英語発音矯正ゲームWeb技術プログラミング::自然言語処理4月からは自分が研究室で唯一の日本人になってしまうので、英語の発音のトレーニングをひたすら楽しく積めるWebアプリケーションを研究の合間に作っていました。https://pron.chobitool.com/開発は6日間ぐらいで、そのうち素材集めに3日ほど費やしました。音声認識と音声合成のインターフェースがあるので、これらをフル活用しました。高頻度の表現から抽出しています。いい練習になるので、マイクとChromeがあればどうぞ。オペレーターズサイドという音声認識ゲームに触発されて「なんだとはなんだゲーム」も作りました。学生寄宿舎の壁が薄すぎて小さい声でしか練習できないのが辛いところです。Perlで常用漢字表と人名用漢字表を扱うプログラミング::Perlプログラミング::自然言語処理https://metacpan.org/pod/Lingua::JA::KanjiTable常用漢字表だけでも個人的には嬉しいのですが、人名用漢字表も用意してあるので妥当な名かのチェックもできます。第60条によると、子の名には常用漢字表の漢字と人名用漢字表の漢字と片仮名と平仮名が使えるようなので、以下のコードで名の妥当性をチェックできます。言語ではテキストを左から右へ表示するけど、アラビア語やヘブライ語は右から左に表示するらしいです。それらの言語のテキスト中に数字や英語などの左から右へ表示されるテキストが含まれると、テキストが「左から右」と「右から左」の双方向性を持つことになってしまいます。そのため、双方向性を持つテキストをどう表示したら良いか曖昧性が生じます。Characters」が必要になるっちゅうこっちゃ。Characters」の一覧は以下の通り。OVERRIDE恐らく、99.9%ぐらいの日本語がメインのテキストではこれらのフォーマット文字は不要であると考えられるので、拙作のPerlモジュール「Lingua::JA::NormalizeText」ではこれらの文字を削除するオプションを用意しています。(Webアプリケーションでこられの文字を埋め込んでイタズラされちゃうおそれがあるため)さらに詳しい情報は↓を参照されたし。人工知能のために会話文の感情分類がしたいなぁっと思ったので、ちょいと調べていました。そもそも感情は明確に分類できるものなのか怪しいのですが・・・。参考にしました:http://memoirs.lib-e.yamaguchi-u.ac.jp/531/11.pdf)という分類がよく使われているようです。自分がしたいのは会話文の感情分類。Ekmanの分類は表情から読み取れる感情とのことなので、除外。分類か「感情表現辞典」の分類。混合感情の考え方とかはよく出来ていると思うんだけど、自分以外の人に混合感情を意識させて妥当な感情を選ばせるのはあまりに負担がかかり過ぎるように思えます。いって混合感情を意識させない場合、ドンピシャに純粋感情を過不足なく複数選択させるのが困難。分類でもいいけど、誰かに手伝ってもらう場合はPlutchikの分類はキツい。10分類をベースにすることにしました。今日、注文していた「感情表現辞典」が来たのでちょろっと読みました。19感情を抽出して境界線の引きにくさを理由に以下のように圧縮したもののようです。「哀」={「悲」,「淋」}「厭」={「鬱」,「悄」,「苦」,「悔」,「嫌」,「憎」,「惑」}「昂」={「苛」,「昂」,「感動」}これでほぼ自分の直感にも反しないのですが、いくらか拡張しました。「好」ー>「友情」,「恋愛」,「忠誠(忠義)」,「欲」に拡張しました。Emotions」とか読んでおいたほうがいいです。attitudeで感情(情動)と区別されています。Emotions」を読んだけど根拠が不明でした。著者のpawa(略歴)です。Webアプリを作るのが好きな中途半端なフルスタック(?)エンジニアです。