分析」はじめに皆さんこんにちは、こんばんは。他のアイドルとは一線を介した独特な雰囲気や楽曲から絶大な人気を誇る欅坂46の不動のセンターである平手友梨奈さん。彼女の欅坂46というグループを体現しているかのような逸脱した表現力は度々ネットをざわつかせていると思います。平井堅さんとコラボして披露された「ノンフィクション」の創作ダンスですね。分析での、データソースは平手友梨奈さん自身の言葉で綴られているブログを使用しようと思います。*1また、この記事は平手友梨奈さんに対する分析と考察がメインなのでコードの掲載や解説は省略します。後日、TFIDF計算をPythonで行う記事も紹介しようと思います。それでは始めていきましょう〜「結果だけ教えて!」って方はこちらから結果に飛べます。単調なスクレイピング技術の話になってしまうので今回は省略します。分析」形態素解析まずは文から単語を抽出する処理である形態素解析を行います。形態素解析とは文法などの注釈のない自然言語のテキストデータから、解析対象の言語のルールや辞書に基づき形態素(言葉としての意味を持つ最小の単位)に分解する作業のこと形態素解析を行うにあたって使用する形態素解析器は使用するプログラミング言語などにより多岐にわたるのですが、今回はPythonで処理を行う際にデファクトスタンダードである「MeCab」を使用して解析を行いたいと思います。分析」特徴量計算さて、先の工程で文から単語に分解することができたので、次はそれぞれの単語の特徴量を計算していこうと思います。特徴量計算には様々手法があり、データの種類やそのデータのドメイン情報によってどの手法が優れているかは異なるため、通例複数の手法を試します。今回使用した特徴量の計算方法は以下の2つです。TFIDFLRTFIDFを用いる特徴量計算は比較的理解しやすいので、少し丁寧にどのように計算しているか書きますが、LRに関しての説明は記事が冗長になってしまうためここでの手法解説はしません。LR」などで調べてみてください。TFIDFTFIDFは特徴量計算において最も頻繁に使用される基本的な手法です。TFIDFの結果だけ見る方はこちら計算のメカニズムは至ってシンプル。Frequency)\]TFとIDFの掛け算から算出されます。それではTFとIDFのそれぞれの説明を致します。Frequencyのことで、その名の通り単語の出現頻度のことです。「各文書においてどのくらいその単語が出現したか」を表しています。Frequencyのことで、該当単語が存在する文書の出現頻度の逆数です。「全文書の中でどのくらいその単語が含まれている文書が出現したか」を表しています。logはIDF値が0になることを防ぐ目的で使用しています。(1を足すIDF値の計算方法も存在しています。)この数値が高ければ高いほど、滅多に出現しない「レア」な単語で、逆に低ければ低いほどその文書群の中では普遍的な単語となってるんだね!ではなぜIDF値をTF値に掛け合わせているのでしょうか?その答えは「単にその言語での使用頻度の高い言葉を淘汰することができるから」です。「あれ」「それ」「これ」のような指示語といったものはどんな文書にも普遍的に入っています。仮にTF値のみで特徴度ランキングを作成するとなると、これら「普遍的な単語」は確実に上位に食い込んできてしまいます。35LR全く説明をしないとTFIDFとの違いが分からないと思うので、比較して説明します!TFIDFが単語単体を見てその出現頻度からスコアを計算している手法なのに対して、このLRという手法は対象の単語とその周辺単語を見て単語同士の関係性から特徴量を計算する手法です。今回はTFIDFとLRという2つの手法を用いて、平手友梨奈さんのブログから特徴語を抽出致しました。内容的には全体的に「宣伝系」と「メンバーの名前」が目立つなと思いました。「ねる」とは元欅坂46のメンバーの「長濱ねる」さんのことでしょうか?TFIDFもLRも「全体の文書の中では何回も触れられてはいないが、ある特定の文書では何回も触れられている単語が上位に来る傾向」があるので途中加入だったりなにかしら特別な存在である「長濱ねる」さんが上位に来るのは必然なのかもしれません。109単語の抜き出しなのですが、意味を成していない言葉だらけですね笑これをTFIDFやLRといった手法を用いて特徴量計算を行うだけで、ランキング上位に食い込んでくる単語たちが「キチン」とすることから、これらの手法が有効だと分かりました。「笑」がどちらの手法においても圧倒的に1位だったのは単純に出現回数が多かったため、IDF値の補正では足りなかったのだなということがわかりますね。このようにどのようにデータクリーニングや前処理を行うのかの方針も見いだせるのではないかと思います。分析」【おまけ】Twitter分析おまけだから読み飛ばしちゃってもOK!ここでは一般的な平手友梨奈さんのイメージを掴みたくてTwitter分析を行った結果を紹介します。平手友梨奈さんの一般的なイメージを探るためにTwitterからキーワード「平手友梨奈」を含む(彼女の愛称である「てち」を検索してもノイズが多い+ファンの意見になってしまうため)ツイート1,000件を収集して分析してみました。26気になるのは「めんどくさく」と「ない」ですね。マイナスイメージです。「ない」に関しては、日本語は「〇〇ない」という言い回しが多いので、形態素解析をしたら必然的に「ない」が多く抽出されてしまっているのだと思われます。「めんどくさく」に関しては、どのような感じで1,000件のツイートで使われていたのか調べてみました。したら1,000件中35件に含まれていることがわかり、全て同じツイート内容でまとめサイトの自動投稿のような感じでしたので無視して良いものだと判明しました。(内容をここに載せるのは控えておきます)となると、残りは「微笑ましい」「いい」「可愛い」だったのでプラスイメージの内容になります。分析】憑依ダンスやそのかわいさで有名な欅坂46センター平手友梨奈を自然言語処理を使って分析してみる」と題して、Pythonを用いたブログの分析結果の共有をしました。分析し終えてこの記事を書きながらまた違う手法でも分析してみようと思ったので、このシリーズの続きを今度執筆予定です。文字に自分の全てを乗せて発信できるわけがないので、人の考えや感情が書物(運営がチェックしているので純度100%ではないと思う)から分かり切ることはないと思うのですが、それでもその人の真の箇所の片鱗を覗くことはできるのかなと思っています。技術の発達によって、このような分析を定量的に行えるようになったことは本当に素敵なことだと思います。PythonでのTwitterのデータ収集方法といった今回使用した技術に関しては順次記事にしたいと思っているので、お楽しみに。*1:なお、稀に平手友梨奈さん以外のメンバーが代筆し更新しているブログがあったためそちらは除外して計算を行った。*2:「MeCab」の詳細はこちら*3:長濱ねるさんは欅坂46に1.5期生として唯一オーディションのないタイミングで加入している。J-POP月間ベスト200曲の歌詞からどの曲と似...自然言語処理とコサイン類似度を用いてOfficial髭男dismの「Pre...TwitterFacebookはてブPocketLINEこのブログは「はてなブログ」で運営しております。よかったらはてなユーザーの方は読者登録をよろしくお願いします。イントゥジアンノウン】自然言語処理でJ-POP月間ベスト200曲の歌詞からどの曲と似ているのか分析してみた。イントゥジアンノウン】自然言語処理でJ-POP月間ベスト200曲の歌詞からどの曲と似ているのか分析してみた。月別アーカイブサイト情報プライバシーポリシーお問い合わせスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。