政夫(134)43この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。Serverのアクセスログを解析するまでの手順を紹介します。S3に配置しておく必要があります。LinuxからS3への転送にはfluentd(td-agent)を利用しました。手順概要OS側セットアップAthena側セットアップクエリ実行OS側セットアップまずは、Linuxにtd-agentとApacheをインストールします。ユーザのグループ追加を行います。/var/log/httpdtd-agent.confは以下のとおりです。バケット名(s3_bucket)やPrefix(path)のパラメータはご自由に調整下さい。Athenaでパーティション定義をするためのラベリングをしている点です。Athenaにおけるパーティションの詳しい説明は以下ブログを参照下さい。Developers.IOあとはtd-agentとApacheを起動すれば、OS側の設定は完了です。httpd設定に成功していると、アクセスログがS3に以下のような形で出力されてきます。{"host":"192.0.2.233","user":null,"method":"GET","path":"/index.html","code":200,"size":10,"referer":null,"agent":"Go-http-client/1.1","log_time":"2016-12-21T06:08:21Z"}Athena側設定AWS管理コンソールのAthena画面を開きます。前述のとおり、今回はオレゴンリージョンで試行しています。Athenaでのテーブルはウィザードで作ることもできますが、今回はサンプルをベースにDDLを作成してそれを実行しました。以下のSQLをウィンドウに貼り付け、実行します。データベースの作成です。access_table;続いてテーブルを作成します。値を入力しておきます。設定した出力先と合うように設定しましょう。テーブル作成が完了したら、データをロードします。以下のステートメントを実行して下さい。access_table.apache_access;ここまで成功したら、完了です。実際にクエリを流して、データが入っているか確認してみましょう。10;実行すると、アクセスログが入っていることが確認できます。複雑な集計クエリも流してみましょう。host;ある一定期間内のリクエスト数をIPアドレス毎に表示するクエリです。こちらも問題なく結果が出せました!今回はテスト用のサーバで実験したので結果が寂しいですが、本番稼働しているサーバのアクセスログを読ませれば、もっと興味深い値が出ると思います。つまづいた場所Athenaを触るのが初めてで、Hiveにも触れたことがなかったのでテーブル定義を作成するのに一番苦労しました。PARTITIONのところはつまづきました。今回は分単位でPARTITIONを作成しましたが、この粒度についてはもう少し検討が必要だと思います。それは個人的な今後の宿題です。まとめ多少のつまづきはありましたが、かなり簡単にApacheのアクセスログをAthenaで出力することができました!S3に保存はしているが使われていないログ、結構あると思います。1,340,849横浜DeNAベイスターズを愛するAWS屋。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。本が出ていたので読んでみたところよかったので紹介させていただきます。使いたいときの注意点を書きました。新井成一64最近Sphinxつかってドキュメントを書いてるのですがなかなかイケています。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介255SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健232こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。カフェ店長のオカノです。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。