オープンソースBIのPentaho(ペンタホ)ブログオープンソースBIのPentaho(ペンタホ)ブログKSKアナリティクスによるpentahoブログ。サービスの状況などの最新情報をお届けします。Tokyoへ行ってきました。お昼過ぎに到着し、展示会場に入ると助六弁当とお茶のセットがセルフサービスな感じで積まれていましたので、一つありがたくいただき、急ぎ気味で完食してから、展示製品・サービスを見て回りました。会場中央付近では、インターネットで見たことがあった唐揚げサーバのデモが行なわれてました。お皿を認識する映像と処理の様子がモニターに映されていました。コーヒーとマカロンもいただきました。Tweet午後一のセッションは、「Googleの機械学習技術で実現する賢いアプリケーション」を傍聴しました。MLのクラウド実行のデモを見せていただきました。同じコマンドにオプションでcloudを指定するだけで、実行環境が切り替わるようでした。MLはどうやら、JSON形式で設定を書き、ハイパーパラメータを自動チューニングするようなことができるようでした。あと、作成済みのモデルはエポック毎の精度や最適なハイパーパラメータの表示を行うことができるみたいでした。MLを実行中にブレインパッドの方がブレインパッドの事業紹介と、Tensorflowを活用した事例のニュースリリースの話をされてました。APIのセーフサーチで、ユーザが不適切な画像をアップロードすることを未然に防ぐことに成功した活用事例を紹介されてました。Pub/Subによるリコメンドのためのストリーム処理基盤」。Dataflowの乗り換えた話を聞きました。Spotifyでは秒間70万のイベントが発生するそうで、Kafkaでの運用は難しかったそうです。Pub/Subのデモで、Webコンソールでトピックを作成してその他のチューニングはなしで秒間2百数十万件のデータが流れているグラフを見せていただきました。Dataflowの方もストリームETL処理のデモを見せていただき、ステップによっては処理が追いついておらず、データが溜まってしまっているといったデモでした。"Scio"がSpotifyによって開発されているそうです。過去10年ぐらいの取り組みの歴史や、日々改善されているサービスの話がありました。講演中に実際にBigqueryでクエリを実行して、最後に実行結果を確認するデモを見せていただきました。結果は30TBぐらいのデータ量を5分程度で処理できたようでした。TBあたり5ドルなのでだいたい1万5千円分の処理だったそうです。Karteというサービスを提供しているプレイドという会社の方がBigQueryとBigTableを活用した事例紹介もありました。「クエ」を短く、「リ」に余裕をもたせる感じで、「クエリ」よりはほぼ「ケリー」でした。気になってしまいました。たしかに「ビッグクエリ」よりは「ビッグケリー」の方が若干言いやすいので、頻繁にこのワードを使うようになった際は、「ケリー」に寄せていきたいと思いました。その次の4時間目は、事例紹介のセッションを聴きました。GroupのSEの方の講演でした。Groupの方は、確かPyCon2015でも講演されていた方で、BigQueryを社内で活用している話を聞かせていただき、DeNAの方はGAEを導入して、運用に掛かる労力が無くなり、サービス開発に専念できるのでエンジニアのモチベーションが上がったようなことや、フロントサイドのエンジニアとインフラサイドのエンジニアのコミュニケーションコストも下がったみたいなことを言われてように思います。メルカリのプリンシパルエンジニアの方は、新しいメルカリアッテというサービスでGAEを採用したことで、メルカリユーザの流入で一気にユーザ数が増えてもオートスケールアウトで、運用面をあまり気にする必要がなく、サポートも無人と思っていたところ、優秀なエンジニアが対応してくれたりと、物凄くサービスを褒め称えていて、各地でGAEの良さを伝えるエバンジェリストのようになっているとのことでした。あとGAEのおかげで安心して土日が休めるようになったそうです。DeNAの開発部長の方は、運用中のGAEサーバクラスタの説明の一部で、内製BIツールArgusの話もされていて、出来がいいので公開した方がいいと考えているそうです。Pentahoにとって脅威になりそうです。あと、「エンジニアのモチベーション」というフレーズを何度か言われたのが好印象でした。EngineとKubernetesで無理をしないコンテナ管理」というセッションに参加しまして、そちらではグーグルの日本語が流暢な外国の方が日本語でGKEやコンテナ技術のプレゼンをされていました。この方もPyCon2015で発表をされていたような気がします。途中にサイバーエージェントの技術本部マネージャの方が、AmebaTVでの事例を紹介されていました。一度ご相談いただけますと幸いです。