現在JavaScriptの設定が無効になっています。このページを利用するにはJavaScriptの設定を有効にしてください。Impalaについて発表しましたこんにちは。ヤフー株式会社の杉山です。2014(以下CWT2014)の午後のセッションで、昨年頃から盛り上がっているHadoopのSQLエンジンImpalaについて発表してきました。Yahoo!デベロッパーネットワークImpalaはHDFSを直接readする低レイテンシなSQLエンジンで、データの検索や集約を行う処理は従来のMapReduceを使わずに専用に開発されたImpaladが行います。Impalaの発表当初は話題を呼びましたが、最近ではImpala自体の存在は浸透して実際にどのように使っていくか、という話題が増えているように思います。私たちヤフーでも、この新しいSQLエンジンに強い関心を持っており社内でさまざまな検証を行っています。発表資料の方では、サービス利用を考えた時に気になるレスポンスや並列リクエストを引き上げるための設計やチューニングポイントを紹介していますので、これからImpalaの本格利用を考えている方はぜひ参考にしてください。カンファレンスの様子もお伝えします。私は自分の発表準備もあって全てのセッションには参加できませんでしたが、参加できたものについては簡単にご紹介します。Things:モノのインターネット)が強く前面に出ていたという印象です。前半のCloudera社の各面々もインテルとの協業の背景としてIoTをあげており、工場機械や自動車に取り付けるチップやセンサーをインテルが作って、そこから集められた大量のセンサーデータをClouderaのHadoopディストリビューション(CDH)が解析する、といったように両者が協調していくということでした。インテル平野氏のセッションでは、マッチ箱ほどの基盤にCPU、メモリ、ストレージを搭載してLinuxがブートするというチップを見せてくれました。インテルとの提携事業ではもうひとつ、これまでインテルが開発していたHadoopディストリビューションIDHをCloudera社のCDHに統合されたことも紹介されました。ハードウエアとソフトウエアの両者の得意分野で協業していく合理的な提携ですね。午後はこちらのセッションに参加しました。Cloudera水丸氏のセッションでは、同社のクラウドに対する考え方が紹介されました。Cloudera社は創業当初からクラウド上でビッグデータを処理するプラットフォームを提供しようとしていたそうですが、当時の投資家などの反対が強くオンプレに自分たちのソフトウエア(CDH)を提供する現在の事業形態になったそうです。確実にクラウドは企業にも浸透しており創業当初の構想を実現すべくクラウド対応を加速しているということです。2014の紹介がありました。米国のこのようなカンファレンスではHadoopを使っていること自体は特に言及されないほど浸透していて、絵に描いたような成功事例ばかりでなく、いかに活用しているかとか、その過程で出た苦労話とかが多くなっている、というのが印象的でした。私は時間の都合で参加できなかったのですが、sparkの事例を紹介するセッションが増えていてsparkがかなり盛り上がっているという印象でした。Hadoopは毎年話題を呼ぶエコシステムが生まれてきて、まだまだ面白いですね。Meetupでも紹介しています。JAPANでは情報技術を駆使して人々や社会の課題を一緒に解決していける方を募集しています。詳しくは採用情報をご覧ください。JAPANのサービス開発を支える技術やデザイン、文化を発信しています。Reserved.このページの先頭へ。