「プロレスの数字とプロレスする」をテーマにプロレスに関連する数字を調べ、まとめ、考えるブログです。問い合わせツイート解析についてその他まとめ記事一覧2019-07-09【Twitter】TwitterAPIの仕様変更などに関する話Tweet2019年もはや半分が過ぎ、令和もはや2ヶ月が過ぎたころですが皆様いかがお過ごしでしょうか。思えば新元号の発表が4月初めで、施行まで1か月しかなかったのでSE職はかなりデスマーチを強いられたなんて言ううわさもあったけどどうだったんですかね。Banに関する話をしたと思うんですが、その後Twitter及びTwitterAPIについていろいろわかったこと、および変化があったので今回はTwitter関係のことについて3つほど紹介です。(プロレス関係の話は)ないです。Ban(以下SSB)については上記の月例報告記事で紹介しましたが私がSSBというものについて知ったのは上の記事。文字通りに読み解けばTwitterの検索のSuggestionからBANされるというもの。私はこれを「Twitterの検索に現れないということはAPI上でも表示・取得できていないのでは?」と思ったわけです。Banの違いとは?となっていたんですよね。いうわけでとりあえず現状取得できていたデータを用いて検証を行いました。Testというサイト、こちらはアカウント名(スクリーンネーム)を入力することでそのアカウントが各種BANをされているのか調べてくれるというもの。仕組みとしてはそのアカウント名でTwitter検索を行い(from:(アカウント名)で検索)、ツイートが表示されるかどうかを調べるというもの。これを自前のTwitterAPIでできないものか?とも思ったんですがAPIで取得できるツイートが7日以内のものに限られるのでうまく働かなかったんですよね。ChromeなどのWebブラウザ上の操作をPythonに代行させるもの。これを使えばブラウザでやっていることをすべて代行させることができるわけですけど、サイトの応答などを待たなければならないため如何せん動作が遅い。その関係もあって取得していたすべてのデータについて検証することはできませんでした。一部のユーザー情報について簡単に検証してみた結果ですが、直近のユーザー情報をみてもSSBのユーザーも取得できていた(取得したユーザーの中にSSBのユーザーがいた)というのが確認できた情報です。Banのユーザーは取得できていないようです。「SSBによっていつもよりツイートが取得できていないのではないか?」という予想は間違っていたということですね、お騒がせしました。本来はよりおおくのデータを集計すべきだとは思うんですがSelenium君が何と言っても動作が遅いのでやる気が起きない・・・なにか別の手法が判明したらやろうかな、何やらユーザーの属性によってSSB率の違いが出るともいうので興味はあるのだ。APIについて変更があったようです。これに気付いてのはつい先日のG1開幕戦の集計をした後のことですが、いつもはユーザーの言語情報を集計しているのですが、取得できた言語数が0になっている。logを確認してみると5月末に取得できるツイート情報の内容に変更があり、ユーザーの言語情報をはじめいくつかのユーザー情報は取得できないようになった模様、悲しいなぁ・・・というわけで今後の集計結果には日本語・英語ツイートそれぞれのツイート数や言語数なんかについての解析はできなさそうですね。いえDevelopperを見る感じ、ユーザーのIDなどからユーザー情報を取得することでユーザーの言語情報を調べることはできるのでやろうと思えばユーザーの解析もできるとは思いますけど少し面倒で残念無念。APIがリリースされていたようです。API(上記サイトでいうStandard)は7日前までのツイートしか取得することはできませんでした。それに対して有料版(PremiumとEnterpriseが存在)は30日前までの取得が可能なプランから、2004年以降のすべてのツイートを取得できるプランもあるという。欲しい欲しいと言っていたものがここに!なんですがそのお値段月99ドルから、結構なお値段する・・・しかもPremiumには月ごとにリクエスト上限が設定されているようで、1度のリクエストで取得できるツイート数が100~500ツイート、そして毎月のリクエスト上限がプランの値段によって違っており、99ドルだとリクエストは100回が上限、1000回であれば774ドルとなっているようで。うーんこれは素人が遊びで使うものではないなぁ、実際にQiitaでみかけたこのAPIを使っている人も研究用に科研費で購入したなんて言ってましたし。いうわけで念願の有料版APIでしたがもう少し経済状況が改善するか、アドセンス収益が1,2桁上がるか、石油王がポンと提供してくれるまでは待ちですね。所感雑感というわけでTwitterに関係したよもやま事でした。SSBの検証については結構前に終わってはいたんですが、タイミングを逃して今日まで報告してなかったんですよね。結果としては恐れていたSSBによって思うように集計できないという状況ではなかったものの、まさかのTwitterAPIの仕様変更が・・・といろいろ畳みかけたのでもう記事のネタにできるな!となった次第です。いいつつこういう仕様の変更は結構がっくり来る部分があります、まぁ単純にできることが減るわけですし。何か新しいことができるかもしれない変更なのでそれについてはこれからちょっと調べてみる予定です。)スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。