分12前回はHadoopやSparkなどとの連携について見てきました。今回は,得られたデータに対し,実際の分析に入っていくことにしましょう。ログ分析用のSQL拡張関数ログ分析のためのロジックは,SQL関数を組み合わせて作成したり,ユーザー定義関数(UDF)を自分で作成する場合が多いのではないでしょうか。SQL-99の標準SQLに基づく⁠)⁠。これによって,複雑なSQLを使わず,ログ分析のための集計処理を簡単かつ効率的に実装できます。代表的な関数を表1にまとめます。Analytics」は,細かい時間軸で動きを把握しなければならない入札取引のようなケースで役立ちます。複数の株式の入札取引を格納しているテーブルがあり,2秒間隔で入札イベントを参照する必要があるとします。ところが,入札イベントは一定の時間間隔では発生しないので,A株の入札イベントが3時と3時5秒に,B株の入札イベントが3時と3時6秒に発生した場合,通常のSQLを使うと,銘柄別に入札価格の動きを比較することができません(図1⁠)⁠。Series関数を使うことで,「⁠株式」列でグループ化し,「⁠日付」列で並び替えられたウィンドウの時間データを読んで,2秒間隔になるように結果セットを整形するといったことが簡単にできます(図2⁠)⁠。Matching」では,クリックストリーム(Webサイトの訪問者がページを渡り歩いた軌跡)パターンを抽出するような場合に役立ちます。どのサイトのどのような情報を経て,どのバナーをクリックして購入に至ったか,といった行動履歴を1つのパターンとして,これに合致した計測データだけを即座に抽出できます。図3のようなテーブルがあるとします。このテーブルには,2人の訪問者(uidが1と2)がWebサイトにアクセスした履歴が格納されており,どのURLからたどって来たのかの情報があります。Matching関数を使うことで,ユーザーごとの行動履歴を表示できます(図4⁠)⁠。テーブル内のデータから,Entry,Onsite,Purchaseの条件に一致するものを分類し,event_nameにタグ付けをする。これによって,uid1とuid2のユーザーがサイトを訪問してから購入するまでの履歴を追うことができるようになる。Analytics」では,地域単位のアクティビティの集計を効率的に行うことができます。Verticaでは,地理情報を点,線,多角形のオブジェクトで扱います。これらのオブジェクト間の距離や,オブジェクトどうしが交差する点,面積などを計算して地理情報を分析します(図5⁠)⁠。空間情報を持つファイルであるシェープファイル,WKT/WKB,GeoJSONフォーマットをVertica内に取り込むことができ,SQLや地理空間情報関数を使って処理できます。タクシードライバーの座標と乗客の座標から最短距離を算出することで瞬時にマッチングを行うといった使い方ができます。Yorkの距離をSQLで算出させる例を図7に示します。N)をSQLに与えるだけで簡単に距離を算出できます。true);ST_Distanse------------------306423.562065704以上のように,Verticaには用途に合わせたSQL拡張関数が用意されているため,簡単な実装だけでVerticaの強力な高速分析処理能力をフル活用できるのです。学生時代に研究室のSunワークステーションの管理者になったのをきっかけにSIerに就職。RACのクラスタリング技術に衝撃を受けてアシストに転職。Oracle,InfiniDBを経て現在はVerticaデータベースを担当。趣味はピアノと筋トレ。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。