Hadoop上でトランザクション処理ができるようになるだろう。「エンタープライズデータハブ」としての役割を担うようになる。活発なコミュニティ活動を強調。Sparkは互換性を重視。互換性のないAPIの修正は自動ではじく仕組みまで入れている。3ヶ月に1回のマイナーバージョンリリース。Cloudをデモで紹介。demoは、3秒に1回更新するグラフも披露。※かっこよくて中々面白いデモでした。これからはSparkが、Hadoopを扱う以上無視できない存在になりそうな雰囲気を醸し出しています。混沌としているHadoopとエコシステムの俯瞰的解説。Hadoopは、構造化データとの境界線へと突入する。Processing)が担っていた役割も含めて、Hadoopでできるようになったりする。(Cloudera)部門ごとに別々のクラスタを用意するのは大変。一つのクラスタにまとめる方向へ。その際、セキュリティが必要。認証(kerberos)と認可(HDFSのユーザアクセス制御と、Sentry)Sentryは、HiveServer2のImpersonationより細かい制御が可能。CDH5.1からは、Sentry1.4が使えるようになる。このバージョンからは、設定ファイルを直接書かなくても、GRANT文などで設定できるようになる。真面目に調べようと思いました。セキュリティ大事です。達夫(Cloudera)Hueの目標:ビッグデータを多くの人に利用者も右肩あがり。Hue3.6(CDH5.1から)には、グラフや世界地図を表示できるようになった。ドラッグアンドドロップでダッシュボードを作れる※リッチなグラフ表示までできるようになってすごいですね。あと、「Hadoopクラスタ内にHueは置いた方がよい」という話もあって、意外でした。NW負荷を考えるとその方が効率がよいのだとか。Hueは大人数で同時にアクセスするような使い方をするものではないから、それでいいんでしょうね。堅吾(NTTデータ)NTTデータではTwitterの全データを取得している。瞬間的な爆発、データの再取得の難しさを、どうやって克服してきたか、という話。情報処理学会に論文として公開している。障害時に二系統で取得したツイートデータをマージする仕組み、など。「これで本当に株価の予想なんてできるのかなぁ」と思っていたのですが、そもそもそういうものではないらしいです。