ブログも更新しよう!!!という感じでちょっと季節的にテンションが上っている半人前エンジニアのうえピーです。re:dashでデータ分析第2回は、ログファイルも分析対象にしてみようを目標に進めてみたいと思います。データと名のつくものはぶっこんでしまえというノリで、まずはログを!!というのが動機になります。いうわけで、今回は準備編ということで、re:dashで分析できるようMySQLサーバーにログファイルをぶっこんでみたいと思います。それではどうやって?ということで、まずはグーグル先生に聞いてみました。mysql」、、、検索。※ブログ作者様、有益な情報有難うございます!!おお、いいね!!!ということで、男は即決!!「fluentd」and「fluent-plugin-mysql」でいってみます。fluentdインストールは、「公式サイト」の手順でやったら一瞬です!!※注意くれぐれも、古いバーションのtd-agentはインストールしないでね!!Rubyのバージョンが合わなくて、fluent-plugin-mysqlのインストールに失敗するよ。fluent-plugin-mysqlよし、問題なくインストール完了。続いて何をMySQLにぶっこもうかな・・・、よし、Apacheのssl_access_logで!!とここまで決まればあとは簡単。サイトを見る限り、こんな感じで、/etc/td-agent/td-agent.confを編集すればOKなはず。※ポイントは、formatです。apache2でオッケーなのですが、他のログでも応用できるように正規表現にしてみました。pluginは非推奨なのでmysql_bulk使ってねって書いてあったのに気付かず、mysqlを使っているのはご愛嬌ということで。※本当は、コピペできるように、ブログに記載したかったのですが、HTML文字のエスケープ対応がすぐに出来ずタイムアップ、画像であしからず。td-agent.confに記載した定義で、テーブルもcreateすれば準備万端です。※注意ここで、体験者うえピーによる注意点を3つ。1./var/log/httpdは、権限700になっているはずなので、711にするなどして、td-agentに実行権限を与えてくださいませ。⇒さもないと、Permissionエラーで処理に失敗しちゃいます。yesを記載するのをお忘れなく。matchエリアにlocaltimeも記載して。⇒折角、出力されたtime項目がUTC時間になっちゃいます。startどうだ・・・・やったー!!書き込まれました~~~~~!ん!?早速怪しい輩の痕跡が!!!隊長!!オランダから何やら怪しいアクセスが!!!というわけで、今回はこれにて。情報セキュリティ方針パートナー募集要項パートナー応募フォーム資料請求お問い合わせ。