ガナリヤのQrunchガナリヤのQrunch競プロなどをします。動画リンクhttps://www.youtube.com/watch?v=XzFuPVqlJVUはじめににじさんじ、面白いですよね!本当に多種多様な人材が居ます。なると似た性格の人や、似た発言の人がいるかと思います。そこで、pythonを用いてライバーのTwitterを取得し、if-idf+cosine_similarityを求めて、どのライバーがどう似ているのか?を調べようと思います。Twitterからリストを持ってくるまず、にじさんじライバーのTwitterの情報を取得するために、Twitterアカウントリストがほしいです。そこでにじさんじのメンバーリストからTwitterのアカウント・URLを取得してみます。requestsBeautifulSoupを利用してスクレイピングを行います。この2つに関しては非常に記事が多いため、そちらを参考にしてみてください!まず、さきほどのメンバーリストを直接スクレイピングしてみました。取得したページに含まれているアカウント数は10も満たず、どうやらこの方法ではTwitterのリアルタイム取得に対応できないため、きちんと全員分集められないようです。そこで、twitter-pythonというライブラリを用いてメンバーの情報を取得します。"ShizuRin23"}]ライバーのユーザー情報を集めることができました。ライバーのツイートを集める今度は、本題のライバーのツイートを収集します。収集したツイートはtweetsというフォルダに、各ライバー名ごとに保存することにします。先程得たライバーのユーザーIDから、ライバーのツイートを取得していきます。卯月コウのファイルを見てみます。@YouTubeさんからぽはよう。23時からポケモンBWかセキロやる。できたら明日の昼もなんかやりたい。tf-idfを求めて各ライバーの特徴量を求める各ライバーがどのような特徴的な発言をしているかを、サンプルケースがかなり少ない気がしますが(83人しかいない)、tf-idf値で求めていこうと思います。tf-idfとはtf-idfは、各文書の重要なキーワードを取り出す自然言語処理のアルゴリズム・計算方式です。ライバーのツイートならライバーの名前ライバーの趣味などが重要なキーワードになる可能性があります。は・がです・ますなどは殆どの文書に現れるため、重要なキーワードとしてカウントされてほしく有りません。このように、文書の重要な特徴づけるキーワードを求めるものがtf-idf値になります。tf-idfは、tf値とidf値をかけ合わせたものになります。Frequencyで、単語の出現頻度を表します。文書に多く含まれる単語ほどそりゃまあ重要だよなぁ!という指標です。政治系のニュースなら安倍の単語はよく出ます。よって、安倍が重要な単語とtfによってカウントされるはずです。{\frac{単語tの出現頻度}{文書dのすべての単語数}}$$のように計算します。上記の計算式は文書$d$における単語$t$の$tf$値を計算しています。よって、単語$t$に関するベクトルみたいな感じになります。$競技プログラミングが大好きです。競技プログラミングでお金を稼ぐ。