Impala(incubating)(以下,Impala)について,以下の流れで説明していきます。Impala概要(今回)クエリ実行時の並列化の仕組み(第18回)I/O処理における高速化の仕組み(第19回)Impalaの特徴のすべてをお伝えできるわけではありませんが,Impalaの速度に対する取り組みについて参考になれば幸いです。今回は,Impalaが開発されるに至った背景や特徴,および動作の概要までを紹介していきます。Language/HiveQL)を高速に処理するために開発された並列データ処理系です。Hive(以下,Hive)が存在していました。長くなりますが,Impalaが先行のHiveとは別に新規に開発された背景を説明していきます。Hadoopは,バッチ処理をMapReduceで行う並列データ処理系(並列データ処理フレームワーク)として構築されました。Pig(以下,Pig)やHiveといった宣言的なクエリで問い合わせができるインターフェースが用いられてきました。Hiveは,SQLに似たHiveQLでクエリを記述できることから人気が高まり,JDBC/ODBC経由でのアクセスなどが整備された結果,元々はリレーショナルデータベースやデータウェアハウス(DWH)に接続することを用途としたアプリケーションからも利用できるようになっていきました。Hiveは,接続方法が整備されたことで,DWHにおける低レイテンシ指向の問い合わせを始めとした,バッチ以外のさまざまなワークロードの問い合わせを有するアプリケーションから接続されるようになりました。HiveひいてはMapReduceと,並列データベースに代表されるDWHで期待される特性は,本連載第14回で述べられているように異なります。DWHを想定したアプリケーションからの問い合わせをHiveにおいて処理する場合は,応答時間が長くなるだけでなく,タイムアウトなどの理由でアプリケーション側から強制終了され,実行が停止してしまうこともありました。このような状況は期待する特性の齟齬によるものであったため,ImpalaはHiveの特性に合わないアドホックなSQL処理の要望に応えるべく,処理エンジンを含めて新規に開発されました。一般に,Impalaの処理はHiveと比較して非常に高速です。ImpalaはHiveを置き替えるものではありません。本連載第8回の「ImpalaやPrestoの高速性の理由」でも述べられているように,Impalaは応答速度を重視するため,耐障害性について妥協している側面があります。そのため,バッチ処理としての高スループットを目指す用途ではHiveを用い,分析などのアドホッククエリに対して高速に応答を返す用途ではImpalaを用いる,というように使い分けることを想定しています。上記のような背景で開発されたImpalaは,アドホッククエリに対応すべく,特に次の2つをはじめとするさまざまな特徴や特性を有しています。ついて,それぞれ説明していきます.今回はその準備として,続く説明でImpalaの基本的な構成と処理の流れについて紹介します。Hive著者プロフィール矢野智聡(やのともあき)日本オラクル株式会社を経て,2014年よりCloudera株式会社所属。Impala,HiveなどのSQLに関連するエコシステムを中心としてHadoopクラスタのサポートに従事。山田浩之(やまだひろゆき)日本アイ・ビー・エム株式会社を経て,ヤフー株式会社にて分散型全文検索エンジンの研究開発に従事。おいて高性能分散型検索エンジンの開発によりスーパークリエータに認定。高性能並列データ処理系の研究開発に従事。著書に『検索エンジン自作入門』。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。