Fusicきばんブログスマートフォン用の表示で見るFusicきばんブログFusic基盤ユニットの非公式技術ブログこの広告は、90日以上更新していないブログに表示しています。2016すごかったですね。サービスが使える形でリリースされてきました。いうエントリーを見て、awspecをどうしようか戦々恐々としています。アクセスログ集計あるAWS上に構築しているシステムプロジェクトで、突然「月単位でのアクセス集計1年間分」という要望がどこからともなく降ってきました。収集して、S3のバケットに保存しています。保存の目的がいざという時のためで、稼働している分析基盤はありませんでした。ProでDigdag+MySQLによる集計を試みました。1日立ってもログ取得が終わらず。(そういえば今まではdstatのような定期的に取得するメトリクス情報のログ集計で、アクセスログのようなさらに大量のデータの取得はしていなかった。Athena、ざっくり紹介するとマネージドなPrestoです(ざっくりすぎる)。AWS提供で、S3との相性がとてもよさそうなので、もしかしていけるのでは?と思って試してみたらできました。みたいに保存されています。Athena自体はTokyoリージョンではまだ提供されていませんが、S3バケットの指定はできますよ!)。User-Agent"}というような、タイムスタンプとhostnameとJSONの複合形式です。Editorで、おもむろに以下のクエリを実行して集計用テーブルを作成しました。Fluentdのログフォーマットに合わせた正規表現を設定しているところです。集計SQLの実行ここからは簡単です。1クエリごとに小さくない金額がかかりますが、突然の依頼なので悠長なことは言っていられません。DESCなどと、フルスキャンでがっつり集計などしました。Athenaは思った以上に気軽に使えました。クエリごとに課金されるので、ご利用は計画的に。アクセスログ集計などには良いと思います。