BigQuery/var/log/secureをBigQueryに送ってRe:dashで攻撃っぽいアクセスなどを可視化してみたかったので送ってみました。td-agentの設定を追加します。BigQueryに送っています。今まで私はtd-agentのtailプラグインの設定で、フォーマットを愚直に正規表現で設定していました。configh2oのログをbigqueryに送り始めました。今のところ特に問題は無いのですが、正直バッファの各設定値やリトライ回数のチューニングについてはどうすれば良いのかよくわからないのでなんとかしたいところです。そこで、mackerel-agent-pluginsを導入してみます。メトリクスを取ることでチューニングしやすくなるだろうと言う目論見です。バッファについては、下記のサイトが分かりやすかったです。td-agent.confでmonitor_agentプラグインを有効化します。下記設定を追加してtd-agentを再起動。recordbigqueryに送るレコードに送り元のホスト名を追加してみます。送り元ホストを条件に検索できるようになります。filterプラグイン(組み込み)を利用して実現します。filterプラグインを使うと、td-agentのレコード(tailしたログファイルの行など)にデータを追加することが出来ます。イメージ的には以下のような感じでしょうか。BigQueryh2oのログにUesr-Agent情報も追加した。ログのフォーマットで%{HEADERNAME}iとすると、任意のレスポンスヘッダを出力させることが出来る。BigQueryに送ってみる。bigqueryへアクセスするためにapiを有効化し、アクセスキーを発行するのだが、この工程が長い...。慣れてないと混乱する。これでやっと以下のようなjson形式の鍵ファイルがダウンロードされる。td-agnetの設定で使う。