Hortornworks/Yahoo!)では,2016年のHadoopトレンドを紹介する数多くの技術/事例セッションが行われました。Storage」をもとに,HiveのメタデータをHBaseでストアすることでHiveの低レイテンシ化を図る技術について紹介します。Hiveのメタデータを保管する「メタストア」とは?HadoopのデータをMapReduceではなく,多くのユーザが慣れ親しんだSQLで扱う,いわゆる"SQL-on-Hadoop"な技術の先駆けとして,いまも高い人気を誇るのがHiveです。SQLやPrestoなどの勢いにやや押されがちなところもありますが,生みの親であるFacebookでの導入実績やコミュニティの活発さなどを見ると,やはりSQL-on-Hadoopのデファクトスタンダードと呼ぶにはHiveがもっともふさわしい技術であるように思えます。現在,Hadoopとそのエコシステムはかつてのバッチオリエンテッドなソリューションとしての位置づけから大きく進化し,リアルタイム性を強く指向するようになっています。Sparkの急速な台頭はまさにそのあらわれであり,高い精度とパフォーマンスの両立が当然のように期待されるようになりました。した中,高スループットなバッチ処理を前提に開発された技術であるHiveは,低レイテンシという観点からはやや不利な状況にあるのは事実です。このためHiveプロジェクトでは,Hiveのパフォーマンス向上を図るための取り組みが数多く行われてきました。カラムナ型ストレージのサポートやオプティマイザの改善などはその一環であり,結果,初期のころに比べるとHive自体のパフォーマンスは100倍以上も速くなっています。Process)といったHiveの低レイテンシ化を実現するための技術も開発されており,「⁠Hiveは遅い」という認識はすこしずつあらためられてきているようにも思えます。ここにきて,Hive自身のパフォーマンス強化だけでは追いつかない問題が表面化するようになりました。それが「メタストア(metastore⁠)⁠」の存在です。Hiveはテーブルやパーティション,ロールなどのメタデータをメタストアというデータで保持しています。メタストア自体はリポジトリとして外部のMySQLやPostgreSQL,OracleなどのRDBMSを利用するしくみになっており,これによってHiveはメタデータやスキーマの管理に煩わされる手間から解放されています。DBをメタストアとして利用することも可能です。SQLやDrillなど他のSQL-on-Hadoopな技術もHiveのメタストアとの統合や連携を重視ししています。扱うべきデータ量の増大は当然ながらメタデータの量も爆発的に増加させることになり,Hiveアプリケーションの実行において「メタストアのプランニングタイムが無視できないレベルになりつつある。メタデータのフェッチに費やす時間が非常に長くなっている」(⁠Hortonworks)というケースが目立つようになりました。Hive本体のパフォーマンス強化に加え,メタストア周りを見直さないとレイテンシの課題は解決しにくくなっているといえます。Hiveメタストアにおけるプランニングタイムの割合は上昇傾向にある(グラフの青い部分)メタデータの増大は,レイテンシのほかにもスケーラビリティや複雑性の問題をHiveにもたらしています。「⁠メタデータが増えるほどに,パーティションの数も増大する。新しいタイプのメタデータ(splitの情報,ORCのRawGroupのインデックス情報など)が登場し,コールの数も増えている。(⁠メタデータの)サイズも種類も発生頻度も昔とは比較にならない」「⁠既存のORモデリングではもはや整合性を保てない」(⁠Hortonworks)など,Hiveは現在,メタデータ自身の"ビッグデータ化"向き合う必要性に迫られているのです。Omid著者プロフィール五味明子(ごみあきこ)IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。