APIを使ってTwitterから画像データを自動収集する方法をまとめました。APIを使った画像自動収集プログラムを作成しましたので、必要な手順を紹介します。APIを使うには「カスタム検索エンジンの作成」と「APIキーの発行」が必要となります。APIではAPIキーを使って認証を行い、作成したカスタムエンジンに対して検索リクエストを投げる仕組みになっています。カスタム検索エンジンの作成まずはGoogleカスタム検索にログインしましょう。ログイン後に「Add」をクリックします。必要項目を入力して「作成」をクリックします。検索するサイト:任意のURLを入力します。検索エンジンの名前:任意の名前を入力します。作成完了後の画面左側から、作成したカスタム検索エンジンを選択して「設定」をクリックします。設定画面で以下のとおり設定を行います。(この画面では「保存」ボタン等をクリックする必要はありません。検索するサイト:「追加したサイトを重視して、ウェブ全体を検索する」を選択サイト:表示されているサイトをチェックして「削除」するここまで完了したら設定画面の「検索エンジンID」をクリックして、表示されるIDを確認します。この値をプログラム上で利用します。続いてAPIキーを発行します。APIの利用状況(1日のクエリ発行数など)はこのキーで管理されます。KEY」をクリックします。Project」を選択します。これから発行するAPIキーはこの「プロジェクト」の中で管理されます。適当な名前を入力して「NEXT」をクリックします。作成が完了するとAPIキーが表示されます。この値をプログラム上で利用します。プラットフォームより確認できます。画像自動収集プログラム私が作成した実装例を示します。4.4.0)で行っています。continueimgutil.download_imgの実装内容は以下を参照。GitHubポイントかいつまんでポイントを示します。google-api-python-clientこのプログラムではgoogle-api-python-clientという、超便利なライブラリを利用しています。APIの利用に関わる煩雑な処理を隠蔽することができます。パラメータを指定しgoogle-api-python-clientのbuildメソッドでserviceインスタンスを作成します。「api_key」には先程取得したAPIキーを設定します。パラメータGoogleへのリクエスト部分のパラメータは以下のとおり。APIでは1回のリクエストで取得できる件数は最大10件です。11件目以降を取得するにはパラメータ「start」に開始インデックスを指定します。次のインデックスは返却結果内の「startIndex」に格納されています。画像URLの取得リクエスト結果には画像のURLが格納されています。「items」要素からURLを取得し、httpリクエストを発行します。APIには注意点があります。それはひとつのキーワードで取得可能な画像数は最大100件ということです。「num=10で100回ループ回せば1,000件の画像が取れるよね?」に対する答えはNoです。APIはHTTPエラーを返します。num=10の指定で10回リクエストを投げようが、100回リクエストを投げようが、取得できる画像データは100件までです。たくさんの画像が欲しい場合はBingやTwitterを使うしかありませんな。はてなブログPro学んだ技術まとめるはずが、仙台のことや日常のことを綴っているブログ。(1)スポンサーリンクはてなブログをはじめよう!WorldWorldWorldさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。