2013に参加してきました。午前中はあいにくの雨でしたが、それでも結構な人数が最初の基調講演から参加されてました。私が参加したセッションは大盛況な感じでした。2013やっぱり、スーツの人が多いなという印象。名刺を毎回回収されるのはちょっとつらかったです。なにか、いい方法ないですかねぇ。以下はいつもの個人メモです。データ管理などにもHadoopの活用されつつある。セキュリティ、データ管理、クラスタ上でのツールの実行なども増えてきてる。「今日ビッグデータは明日のスモールデータ」アーキテクチャとしてのビッグデータ多種多様なデータを一箇所に集約し、生データを直接活用できる。OSSとしての責任も。Awadallahレガシーな情報アーキテクチャ→スケールできない、可視化の限界、硬直したスキーマなどなど。エンタープライズデータハブとしてのHadoopとか。佐藤一郎氏ビッグデータの歴史的経緯とか最初の事例はアメリカの1880年国勢調査。「ビッグデータがコンピュータを生み出した」。コンピュータがビッグデータを生み出したんじゃない。少量データにもHadoopをバッチ処理のリアルタイム化とか(一晩から10分へ)原点は検索データのインデクシングHadoopを使うのが目的じゃないんだから、構築には手を掛けないのがいいよね。全工程で逐次・リアルタイムが必要とは限らない聞いてばかりじゃなくて、動かしてみましょう。「日経BPのビッグデータ総覧2013」に記事書いてる。多様化するデータ(社外のデータも)をどうやってうまく活用していくか。データが教えてくれたこと→まず、データありき、まずデータためましょう。それから解析とかすればいいのでは?というはなし?競合他社さんはNGだけど、ブースでデモ?実機?が見れますと。Operationの書籍でるよプラットフォームを構成するものFlumeSqoopHBaseHiveImpalaデータ登録してBIアナリストのお仕事にどうやって役立てる?外部テーブル:Hiveからはテーブルのように見える仕組み。元ファイルは消えないSerDe(さーでぃー):データをHiveレコードに変換する仕組み生データを少し加工しましょう圧縮したりファイル結合したりはしときましょう。Hadoop活用のポイント富豪的プログラミング。ローカルでできることはローカル。むりにHadoopでやんなくてもいいですよねと。バランス重要スケジューリング実行などはOozie使うと便利。Searchで元データにインデックス貼れるぞと。manager便利ですよストレージリソースの管理。Managerのレポート少数精鋭でHadoop使おう=手が回らなくなる。みんなで使おう=Kerberos認証とか管理をちゃんと考えないと。Navigatorとか。Hadoopシステムの全体構成図。データの流れと各製品のつながり。hiring!ということで、興味のある方は@shiumachiさんにコンタクトをとりましょうとのこと。SQLLINEのキャラがちらほら出てきた。SQL好きですか?ログの量とか。2.1TB/Dayバッチ処理とストリーム速い集計のためにHadoopが重要エラー系のログとかはストリームで処理したいアーキテクチャ説明データ解析する人って色々。管理者プログラマサービスディレクタ経営陣みんなが集計用処理を理解、編集ができるほうがいい。顔あげたらHiveアイコンだらけだったwShibとか。なんでHiveに限るの?Hiveに着目したバージョンアップだけを考えれば良くなる。スケジュールクエリが増えてきて、つらい。TimeWindowを固定して集計処理をすることで、回避できる。Norikra!!スキーマレスOSS。インストールが楽クエリの動作のお話。健史氏なんでHadoop?PostgreSQLでやってたけど、大きなデータにはHadoopを使おうという感じになってきた。Mesosとだいたい一緒。