複数の文章で単語の出現頻度が同じでも、複数の文章で同じように出現している単語と、特定の文章の中でだけ出現頻度が高い単語があった場合とか。そんな場合の「その文章を特徴づけるより重要な単語」は、後者の「その文章の中でだけ出現頻度が高い単語」のはずですよね。単純にカウントしただけだと、その区別をつけることができません。その区別をつける方法はないのか・・というと、一応、あります。TF-IDFという手法です。TF-IDFは、同じ出現回数でもあちこちの文書に頻繁にでてくる場合は値が小さくなり、逆の場合は大きくなるように計算してくれます。その語の出現回数(TF)に、その語がでてくる文書の数のlog逆数(IDF)を掛けたものです・・なんて説明されても、文系人間にはよくわからないのですが、これを使うと、前に書いた「その文章を特徴づけるより重要な単語」とそうでないものを区別して扱うことができるわけです。この計算は、scikit-learnというpythonのライブラリを使うととても簡単にできます。実際にやってみた記事がありますので、ソースとかはそちらを参照ください。arakan-pgm-ai.hatenablog.com簡単だけど単語数が特定できないと厳しい場合がある単語にインデックスつけて、文章に出現する回数で文章の特徴を表現する。この考え方はとても簡単です。Consoleみたいに、ある程度列を固定してデータを作る必要がある処理系とかでは、使いづらいです。最初からある程度単語を固定できることなら良いのですけどね。「単語」ではなく「文字コード」の出現率を使う方法も一考の価値ありです。自然言語処理の本とかには絶対でてこない「ジャンクな方法」ですけどね。以下の記事で実際に試してみてます。意外に文章の識別とかではいい結果がでたので、悪くないなと、自分では思ってます。arakan-pgm-ai.hatenablog.comもうひとつの数値化の方法は「ベクトル」だ単語を数値化する方法には出現頻度を数える以外に、もう一つあります。ベクトル化というやつです。こちらも、説明しだすと長くなるので、(3)に続きます。検索スポンサーリンク最近のアクセスTOP5ブクマ数TOP3IT的なTIPS・ノウハウイベントログから抽出したログオン・オフ時刻を見やすいように整形するEXCELのVBAマクロなど。Google検索は利用するけど、アクティビティを保存させたくない時もある文字コードで悩まされるなんて久しぶり/JIS7(ISO-2022-JP)とJIS8の話もっと見る作業時によく参照する「まとめ」djangoテンプレート内でforループで回す時の整理とデフォルト辞書利用時の注意など。djangoテンプレート内ので条件分岐(IF文)で注意することなどをまとめておくdjangoテンプレート/変数の値の参照の仕方が、Pythonと違う所があるので整理しておく。service」とサーバーレスコンピューティング関係をまとめてみる。PWA・SPA・・など「最近のWEBアプリケーションの種類」をざっくりまとめる。文系的まとめディープラーニング(ニューラルネットワーク)の「学習」の肝は「微分」らしいよ。Consoleもっと見るディープラーニングのデモをやってみるWord2Vecで「単語の足し算・引き算の結果(単語)を取得する」デモをやってみる。API」で入力文の疑わしい部分をAIが指摘するデモを作る。classで事前学習済のVGG16モデルを使った画像識別クラス/tensorflow2.0(tf.keras)ランダムフォレストで回帰してみる/気象情報と電力データその2もっと見るPythonでWebアプリやってみるviews.py(python)からデータを渡して、Chart.jsでRaderチャートを描く/Chart.js+djangoWEBブラウザ上にドラッグ&ドロップした画像ファイルをBase64に変換して表示するWEBブラウザで手描きしたイメージをJPEG・PNG変換後Base64エンコードするもっと見るPythonで自動化やってみるWebアプリケーションで自動的に値を参照、スクロール他Tips/Selenium&pythonWebアプリケーションで自動的に何かをクリックするTips/Selenium&pythonWebアプリケーションへの自動入力・選択のTipsあれこれ/Selenium&pythonもっと見るPythonで数学・グラフィックスやってみるモンティ・ホール問題で、ちょっと暇つぶし。最近、台風が怖すぎる!!!生産性向上しろと言いながら、片方で足をひっぱるなんて・・と呆れてます。/軽減税率のニュースを見てもっと見るBOKU62歳の文系SE”BOKU”です。<arakan_no_boku@yahoo.co.jp>興味の向いたものを、つまみ食い的に勉強してます。自分が消化した内容を、頭の整理と備忘を兼ねてブログに書いてます。IT系・・特に機械学習・プログラムネタが中心ですが、IT以外のネタになる時もあります。(43)スポンサーリンクはてなブログをはじめよう!arakan_no_bokuさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。