!執筆者が語る大講演会!が開催されました。主催はトレジャーデータ株式会社と株式会社インテリジェンス「dots.」です。本稿では,このイベントの模様をレポートします。司会進行はトレジャーデータの池内さんです。ログ収集~可視化編』を執筆した4人の著者から,一人あたり持ち時間15分間の発表がありました。鈴木健太氏は本書の特集タイトルと同じ「サービス改善はログデータ解析から」というタイトルで発表しました。GROUPの子会社adingoにて広告データの分析基盤構築等を行っています。どんなユーザにどんな枠で出したか,どんなキャンペーンがあるか,どんなクリエイティブを出したら効果が高かったかを分析している基盤を作っているそうです。実際のデータ分析は,サービスの質に密接に関わってきます。分析結果がどれだけ活きるかによって,配信効果が変わってくると述べました。データを生成する機能部分を作るアプリケーションエンジニア,分析するエンジニアはチームとして分かれているそうです。サービスの設計とデータは表裏一体です。どんなサービスを作るか,どんなデータを出すかは,結びついた話だと言います。広告のターゲティングしたい場合,どういったデータを載せるか,どういうバリエーションを出せるかなどは機能の話です。生み出されるデータはそこに結び付きつつも,別に分析しなければいけません。変える」「⁠再度配信」とあります。これをすべて一人で行うことはできません。各ステップでは営業,オペレータ,データアナリスト,配信エンジニアが携わっていて,これら全員のところでデータが通ります。データの分析はチームで作るものです。いうデータをどのように使いたいかという絵を共有して,会社の人に使ってもらうことが重要だと述べました。いったアプローチをしていけばいいのでしょうか。いう段階を踏むと良いことを示しました。どのように実現するかは,ミドルウェアを組み合わせて構築することになります。現在は数多くのミドルウェアがあって構築の手段が多様化してきており,実際には何をしたいかに依存する話だと言います。分析するシステムの構築には時間がかかるため,ログ分析導入の必要性をチームに対して説明することも合わせて考えないといけません。そのために,まずは試してみるのが良いとしました。各段階でまずは使うと良いツールとして,書籍でも解説しているFluentd,Elasticsearch,Kibanaを挙げました(運用は最初のうちはなんとかなる,とのこと⁠)⁠。して,新鮮なログが見えるようになったり,集計・分析できるようになったりする仕組みをシンプルに作ることで,何か発見があるはずだと提案しました。可視化をしただけでは成果は出づらいものです。可視化について「データに含まれる事実・示唆を効率よく発見し,それを明確に伝えてくれるもの(⁠『⁠データ可視化[実践]入門⁠』⁠)という言葉を引用し,最初のステップとしての可視化は良いアプローチだと指摘しました。どのような事実があるかは可視化してから考えれば良いとしました。次の図はサーバ内での処理時間をKibanaで可視化したものです。これにより,ピーク時に15分ごとに処理が詰まっているのが見えることが分かったそうです。このような傾向は見てみないと分かりません。エンジニアとしてはこの点を解決したいと思うはずです。可視化により,シンプルに気づけ,発想が出てくるのが大事な点だとしました。データ解析をするかと言えば,分析を武器にする仕組みを作ることに尽きると言います。継続的に使い,気づきを重ねる仕組みができれば,モノを作る人たちもデータを意識するようになります。営業の人とも可視化されたデータをもとにコミュニケーションを取れるようになると話しました。分析する人の視点からアドバイスすることも重要です。それを繰り返して,サービスに生かす文化を作ること,そしてサービスをより良くするところまでいければゴールだろうと述べました。よって,価値を長く提供できる基盤を作ることが重要だとしました。最後に,「⁠データの分析はチームで作るものなので,何のためにデータ分析をするかということを決めることが大事です。ツールを使って終わらないようにしよう」と参加者に伝えました。リブセンスでインフラの研究開発に従事しており,著名なFluentdのプラグインの開発者でもあります。今回は,書籍で担当したFluentdについて発表しました。書籍の第5章「逆引きFluentdプラグイン」には特に力を入れ,250個を超えるプラグインの日本語解説を行ったそうです。最初に,Fluentdの概要を紹介しました。Fluentdを使うことで,様々なデータ入力元から,少しの手間でログデータやメッセージを収集できます。それを即座にバッファリング,フィルタ処理を行い,データを出力できます。Fluentdを使うことでログ収集のイニシャルコストを最小化できます。既存のログ収集を行っている定期バッチをFluentdに置き換えると保守が楽になるはずだと述べました。tailプラグインを使うことで取りこぼしのないログ収集が準リアルタイムでできること,レイテンシの改善や帯域バーストの緩和といった効果も言及しました。次に,Fluentdの基本的な使い方を紹介しました。それはログメッセージの集約と保存することだと言います。ネットワーク周りで手間のかかるリトライ処理をすべて任せてしまうことです。利用例として,アプリログやアクセスログをFluentdに流して,集約して保存することを挙げました。保存先がAmazon等でもプラグインを用いれば簡単なことを説明しました。Fluentd導入による効果として,ログ/メッセージ収集の実装や運用保守の手間が激減すること,準リアルタイムに収集されたログデータを活用できること,新鮮なデータを用いたストリーミングデータ処理が実現できることを挙げました。これにより,単位時間毎にSQL集計してくれるNorikraを用いてその結果を収集すること,Kibana等のDashboardアプリで可視化すること,リアルタイム分析によるインシデントの早期予測,不達メールアドレスのクリーニング,不正ユーザ抽出などに利用できると述べました。Fluentdが適さない使い方も取り上げました。Onceを必要とするデータ収集を挙げました。Onceを採用しているため,1回だけ配信するという厳密なトランザクション処理を求める要件には不向きです。そのため,取りこぼしが絶対に許されない課金データの収集には向いていないそうです。CPUコア1つで処理できない負荷の高い処理もあまり向いていないそうです(プラグインを利用するか,分散処理のためのFluentdのクラスタ構成が必要になるとのこと⁠)⁠。他にも,Fluentdのサービス再起動をともなう設定変更が日常的に派生する使い方もあまり適していないと挙げていました。よって,Fluentdは基本的に変更のないシンプルな処理をのみを担わせるべきだと言及。アプリ側が使いやすい形式に集約するところまでをFluentdで行い,その後のデータの加工についてはアプリ側が自由に行えるようにするのが良いだろうと述べました。構成パターンについては,まずは安定運用のためにも,各ノードは単一責任(単機能)でシンプルに構成したほうが良いと説明しました。それぞれ紹介しました。汎用構成として考えらえる,複数のFluentdからのログ/メッセージを集約する際には,forwardプラグインを用いて一度集約し,適切な保存先に仕分ける構成にするのが良いとしました。これはElasticsearchとKibanaを組み合わせたダッシュボードを構築する時などで使えるそうです。応用構成の話では,演算コストのかかるフィルタ処理や,障害リスクを下げたい場合のサーバ構成について説明がありました。最後に,「⁠まずは小さくFluentdを導入してみよう。手軽に遊ぶなら,ストリーミングデータプロセッサとして使っても面白いでしょう」と述べていました。最近では電子書籍の制作にも関わる。[現場主導のデータ分析環境を構築!]データ分析による継続的改善を目指す組織は,ビッグデータとも呼ばれる大規模化したログを分析部門に渡すまでのシステム構築を必要としています。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。