panicが多発するようになって困っていてまだ解決はしていないのですが、メモっておきます。Londonで発表してきたHadoopabstractやスライドは下記からたどれます。https://conferences.oreilly.com/strata/strata-eu/public/schedule/detail/65222一度はrejectされたCFPが2週間前になってacceptになったので慌てて準備して発表してきました。20人ぐらいは来てくれたかな。Singaporeで発表してきたHadoopabstractやスライドは下記からたどれます。https://conferences.oreilly.com/strata/strata-sg/public/schedule/detail/629482014年5月に異動してから新規に構築したHadoopクラスタの3年にわたる歴史を紹介しております。Singaporeで発表してきた2017-11-27Hadoopでトラフィックが多いと言われたのでtcpdump使って調べてみたHadoop8:20から9時ぐらいまで断続的にoutboundトラフィックが増えてなんでだろって思ったのでtcpdumpしてみた。関係者の皆様おつかれさまでした。ありがとうございました。Show...でも少し話したけど、日本語で読めるHadoop本が古くなっていて今だとちょっと勉強しづらい状況です。第20回で発表しました。importするときに下記のようにurandomを使うのは割と一般的な話かなと思います。...sqoopのマニュアルにも書いてありますね。2016に行ってきました。海外ではこのぐらいの値段は普通らしく、むしろ日本が異常に安すぎるという。Eventbrite関係者の皆様おつかれさまでした。ありがとうございました。blogで書いた1つ目のエンジニアよりの解析基盤をHDP2.1からHDP2.4にupgradeしました。upgradeがちゃんと終わったのは昨日なのでまだ何かあるかもしれませんが、メモがてら書いておきます。PrometheusHadoop環境だとOSのカーネルパラメータをいじることは一般的です。-lしたらTIME_WAIT数がやたら多くて気になってました。blogで書いたログ解析基盤のうち2つ目のプランナーよりのシステムが現在どうなっているかを書いてみたいと思います。yanagishima僕は仕事では2種類のログ解析基盤を見ています。ShibUIを通して好きにクエリを投げることができます。tableをcreateしたりdropしたりinsertしたりはできません。Meetupでログ解析基盤について少し話してから3ヶ月弱経ったんだけどその時から若干変わったのでメモっておく。以前はこんな感じでした。Prestoは今は0.100を使っていて特に問題は発生してないです。Talkに行ってきました。Dataさん、会場を提供をしてくださったDeNAさん、またイベント開催にご協力頂いたdots.さん、ありがとうございます。寿司おいしかったです。立派なホテルで良いイベントでした。ありがとうございました。Hortonworksのみなさまセッションや会場にいた人との会話について少し書きます。importしたら以下のようなOutOfMemoryErrorが出た。Eventbrite第5回になるそうです。僕は3回目から参加していますが、毎度のことながらランチが出るし至れり尽くせりのカンファレンスですね。スタッフの皆様ありがとうございます。2014にいってきた2014-05-30ログ分析環境を少しづつ作ってるHadoopまだ本格的な運用は始まっていないけどログ分析環境を少しづつ作ってるのでメモっておく。2.7でやっています。HiveログをHDFSに集めてHiveでETLや集計を行い集計結果をRDBMSに蓄積してレポーティングツールで可視化するというのは一般的な話だと思います。GCが連発するということがおこった。-XX:+UseConcMarkSweepGCGCログはこんな感じ。1.2.1のHDFSにデータをappendで書き込むということをやっているのだが、最近エラーが出るようになって困っている。fluentdのログは下記のような感じ。2014の分散処理システムCROSSってのをUSTREAMで聞いてたらHadoopの運用の話が出てたのでその辺の話について書いてみようと思います。Hiveいろいろな部署でデータ分析するようになると「うちのデータとおまえんところのデータを結合して解析したいからデータをくれ、もしくはおれのデータをおたくのクラスタにインポートしてくれ」みたいな話が出るようになります、たぶん。1つのHadoopクラスタに...Hiveで大きめの結果ファイルをエクスポートして相手に渡す話2013-12-15HadoopのMapReduceの運用Hadoophttp://kzk9.tumblr.com/post/69268410641/2013-hadoop-treasure-dataを見て良いエントリだなと思いつつそういやHadoopのMapReduceの運用ってどうやんのがいいんだろって思って本エントリを書きました。Hiveふとログ解析環境についてなんとなく書いてみたくなったので書いてみる。Hive僕が日頃触っているのは統計用Hadoopクラスタで本番サービス用Hadoopクラスタのことはそんなに分からないんだけど見た範囲で言うと違いがいくつかある。本番サービス用Hadoopクラスタっていうのは例えばTwitterのようなつぶやきサービスだったらつぶやきを保...本番サービス用Hadoopクラスタと統計用Hadoopクラスタの違い2013-08-06Hadoopを使ったログ解析システムにおける時間別のジョブ、パーティションについてつらつらと書いてみる。ログログを1時間毎にためてそれをHadoopで処理するなんていうのはよくあるパターンではないかと思う。UUを求めたいとかね。20130806-1900みたいなHiveパーティションを用意するのではないだろうか。20130806-1800パー...Hadoopを使ったログ解析システムにおける時間別のジョブ、パーティションについてつらつらと書いてみる。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。