諒(84)120120件のシェア(ちょっぴり話題の記事)この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめにおはようございます、加藤です。Logsに保管、長期的にS3バケットに保存というアーキテクチャを試してみました。Logsに転送します。Firehose→S3と転送します。Logsで任意の文字列を検出した場合はアラートを上げたいというシチュエーションを想定し、このようなアーキテクチャになりました。Logs・S3どちらもログの保存期限を設定した方が良いです(ブログでは設定していません)。やってみたWebサーバーApacheのログを取得する事を想定してみました。EC2インスタンスを立てて、Apacheのインストールと自動起動を設定します。AgentをEC2インスタンスにインストールと設定をします。接続し、設定ウィザードを起動します。/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizardLinux・EC2を選択します。[1]:1今回はメトリクスは関係ないのでnoで進めます。エージェントのコンフィグを新規作成したいのでnoを選択します。{instance_id}上記の2種類のログを対象に設定します。ワイルドカードが使用できますが、1つのロググループには1種類のログが格納されるように設計する必要があるので注意してください。error_logを1つのロググループにまとめるのはNGです。プッシュするログファイルを指定します。ようにワイルドカードを使用)。同じ形式の一連のファイルを指定するにはワイルドカードの使用をお勧めします。ように複数の種類のファイルには使用しないでください。複数の種類のファイルを指定するには、設定ファイルに別のストリームログのエントリを追加して、各種類のログファイルが異なるログストリームに行くようにします。圧縮ファイルはサポートされていません。[1]:2コンフィグがプレビューされます。Storeにコンフィグを保存せずに進めますが、特別な利用がなければ保存した方が良いでしょう。変更・他インスタンスでの利用が容易になります。now.作成したコンフィグを掲載します。エージェントに作成したコンフィグをセットします。その後、起動しているか・自動起動ONになっているかを確認します。Logsにログが格納されるか確認します。インスタンス内からcurlでアクセスしてログを作っておきます。AdministratorAccessの権限を持ったローカル端末から行います。AdministratorAccessの権限を持ったローカル端末から行います。パラメータの設定パラメータを環境変数に設定します。アカウント番号は使用する環境の値に置換してコマンドを実行してください。Firehoseがデータを送るS3バケットを作成します。Firehoseが使用するIAMロールを作成します。信頼ポリシーを作成し、IAMロールを作成します。'.Role.Arn')権限ポリシーを作成し、IAMロールに関連付けます。Firehoseの転送ストリームを作成します。RoleARN="${KINESIS_TO_S3_ROLE_ARN}",BucketARN="arn:aws:s3:::${BUCKET_NAME}"作成した転送ストリームのARNを環境変数にセットします。Logsが使用するIAMロールを作成します。信頼ポリシーを作成し、IAMロールを作成します。'.Role.Arn')権限ポリシーを作成し、IAMロールに関連付けます。Firehoseへ転送を設定します。すべてのログイベントに一致します。設定が完了したら、しばらくするとS3にログが転送されます。conditions設定値です。S3からデータを取得して中身を確認してみます。]}無事にログを確認できました!!あとがき無事に実装ができました...が、結構な操作量ですね。複数リソースに設定する事が想定されるので、CloudFormationやTerraformを使用した方がトータルでみると早くなると思います。CloudFormationはこちらのブログが参考になります。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。使いたいときの注意点を書きました。本が出ていたので読んでみたところよかったので紹介させていただきます。