11:00かつては高価だったデータウェアハウスは、クラウドの普及によって今や高性能かつ安価に利用できるインフラになりつつある。Platformが提供している、サーバーレスのエンタープライズ・データウェアハウス「BigQuery」だ。そのバックエンドでは数百~数千台のサーバーがクエリを分散実行し、1クエリに対して約1000~2000コアが使用されている。した高性能にもかかわらず料金は一般のオンラインストレージ並みで、「とにかく速くて安い」高コストパフォーマンスぶりが人気を博している。一方で「とりあえずBigQueryに突っ込んでおいた」のはいいが、肝心の膨大なデータ資産の使い方に悩む企業も増えている。株式会社grasysの樋口健二氏は、そうした「BigQueryに集めたデータ活用の実践的ヒント」について紹介した。Studio」で可視化するという、一連のプロセスを通じて、データ分析基盤の構築・運用に関する検証を自ら行ったと話す。Sparkといった大規模な分散処理のための分析基盤をあらかじめ構築しなくても済む点だ。「BigQueryのバックエンドには数百~数千台規模の分散処理用サーバーが稼働しており、クエリに分析のロジックを埋め込めるのであればリソースはこれで十分です。今回実際の検証として行ったのは、Twitterのツイートを収集して、数の多いものを「流行ワード」として分析する作業だ。具体的には、あるゲームのハッシュタグがついているツイートを1週間分、API経由で取得してBigQueryに集積。一方でツイート内容からワードを抽出するUDFを作成してクエリを実行し、集計結果の中から数の多いワードを見える化する。今回の検証では約89万3000行のレコード数、テーブルサイズ0.2GBに当たるツイートを収集・分析した。クエリの実行にかかった時間は20秒弱。かかった料金はわずか0.11円だったという。次にトライしたのは、ビッグデータの可視化だ。Studioでグラフ化し「見える化」した。Studioとシームレスに連携しながら、さまざまなデータの分析・可視化が可能だ。操作も容易で、誰でも簡単にダッシュボードやレポートを作成できる。Studioの魅力は、ビックデータを可視化できて共有できる『無料の』BIツールである点だ」と強調する。レポート(ダッシュボード)[画像クリックで拡大表示]今回使ったデータソースはBigQueryの公開データセットで、Wikipediaから取得している。約3億1000万レコード、データサイズ約38GBのテーブルに対して、Wikipediaの改訂履歴の投稿数を日別に集計するクエリを実行した。Toolsで計測したところ、ブラウザのページリロードからグラフ描画までは3秒弱。レポートのリロードだけならば約1.5秒と、非常に速いことがわかる。コストは2.03円と、こちらも実に安い。「これほど大きな、しかも生のビッグデータからの集計・データ生成でも、この程度の描画速度とコストで済んでしまいます。データ量によっては、レポート用の集計すら必要ないでしょう。Studioのパフォーマンスのすごさがわかります。樋口氏は、「BigQueryはこれだけの速さとコストの安さを備えているのだから、BIツールがクエリを自動的にキャッシュして再利用してくれれば、描画速度とコスト双方の面で大きなメリットがある」と指摘する。Studioには、以下の2つのキャッシュ機能が提供されている。クエリキャッシュ:レポートで使用されたクエリの結果をキャッシュして、同じクエリが発行されたら再利用する。キャッシュ:レポートからユーザーの行う操作を予測して、操作前にクエリを発行し、そのクエリと結果をキャッシュする。これらのキャッシュは、ユーザーがいつレポートを開いても迅速に描画できるように、いずれも自動更新される仕組みになっている。(2/2)※この続きは、会員の方のみお読みいただけます(登録無料)。西内啓氏が見据える次の10年。EYACCの森島さんはいかにして生まれたのか319SAPが会津若松で中小企業のものづくりのイノベーションに取り組む理由296AWSでセキュリティを高めるために今すぐやるべき7つのこと262企業のデジタルシフトはIoT、5G、サブスクリプションが牽引。×ログインEメールパスワード※旧SEメンバーシップ会員の方は、同じ登録情報(Eメール&パスワード)でログインいただけます。パソコン「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。