views4GCPのストレージサービスについてまとめてみた。性能を試すため1億件回してみました夜間バッチが朝になっても終わらず、辛い思いをされた方はいませんでしょうか?BigQueryを使用するバッチ処理でも、大量データ処理が終わらなくて辛い思いをした人はいると思います。’19で、発表されました。API」というAPIです。本稿では、BigQueryStorageAPIとは何か、どんな場合に活用できるのか、それを使うとどんなメリットがあるのかについて解説します。実際にサンプルデータを使ってデータ取得処理をした結果をご紹介します。本稿を読むことで、BigQueryStorageAPIを使う際に必要なAPIの設定および、大量データを編集した場合の速度の違いを把握することができます。BigQueryStorageAPIはPythonにも対応していますが、本稿では言及しません。前書きと、この記事でやる事これまでは、BigQueryのテーブルデータを取得する方法として、以下の2つの方法がありました。以下の理由で、大量のデータ処理をする場合に課題がありました。取得方法1でデータを大量処理した場合:1件目のデータ処理は早い。取得方法2でデータを大量処理した場合:全データ処理は速い。1件目のデータ処理が遅い。API」は大量のデータを高速で取得・処理できるとの内容になっています。処理速度が向上しても嬉しくありません。API」実行には追加料金がかかります。処理が速くても、REST-APIと比べ、料金が5倍かかったら、使いたいと思えません。APIを検証してみたいと思います。以下の前提で比較しました。GoogleのPublicデータセットを使用して、1億レコードをスキャンする処理を実行してみます。APIを使用して、結果取得。結果の取得がすべて完了するまでの時間を計測。2BigQueryの結果をRESTAPIで、結果取得。結果の取得がすべて完了するまでの時間を計測。APIを使うまでに設定しないといけないことがありますので記載します。APIを利用するアカウントで、APIを有効化します使用するプロジェクトを選択する。クリック有効になったら設定は終了です。APIでデータ処理する際に作成したプログラム概要」をご参照ください。APIとRESTAPIの実行結果概要を記載します。クエリ:4.1$※USリージョン、2019年5月時点での料金です。クエリは、1TBあたり5$で計算しています。ストレージAPIは、1TBあたり1.1$で計算しています。以上の結果から実際にかかった時間、料金は以下の通りになります。感想BigQueryStorageAPIは、案件にはまれば、費用対効果は凄く良いと思いました。処理時間に大きく差分が発生しました。