諒(80)30この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめにおはようございます、加藤です。オンプレミスやAWSからSumoLogicに、どのようにログを送り込むことができるのかをまとめてみました。個人的な意見ですが、オススメの方法も紹介します!!SumoLogicのログ取り込み方法パターンを紹介する前に、SumoLogicがどのようにログを取り込むのか紹介します。CollectorはSumoLogicが提供するログ・メトリクスを収集して送信するJavaエージェントです。Linuxに対応しています。取り込めるデータソースは下記のとおりです。Collectorはエージェントがインストールされたサーバーからアクセスが可能であればリモートの取り込みにも対応しています。1つのログ収集サーバーを建てて同一ネットワーク内の全てのログを収集してSumoLogicに送信することができます。Syslogにしか対応していないアプライアンスにも、ログ収集サーバーでSyslogを稼働させる事で対応ができます。Collectorをインストールすることも可能です。Sourceを説明します。この2つを押さえれば問題ありません。SourceSumoLogicが対象のS3バケットに対してPullする仕組みです。AWSの設定でSumoLogicからのアクセスを許可する必要があり、IAMロールとIAMユーザー(AccessKey)に対応しています。理由がない限りCredential流出の可能性がないIAMロールを使用しましょう。SumoLogicもこちらを推奨しています。取り込み対象はS3バケット名・パスで指定します、また1つまでワイルド(*)を使用することが可能です。取り込みする際にどれぐらい前からのログを取り込むか指定する事が可能です。S3バケットには数年前からのログが保存されているが、15分前のログから取り込みを始めたいといった要件に対応が可能です。POSTでログをPushする仕組みです。通信はHTTPSで暗号化されて行われます。HTTP通信が可能であれば良いので様々なアプリケーションからSumoLogicへログを送ることが出来ます。FluentdはSumoLogicによってアウトプットプラグインの提供も行われています。EFKスタックでログ分析をしている方なら簡単にSumoLogicを検証して切り替える事ができます。私が個人的にオススメなパターン+αで紹介していきます。オススメは赤線・太字で図中に表記しています。AgentはFluentdを想定しています。永続的にデータを保存するのはS3バケットのみで他は全て保存期限付きで考えました。オンプレミスオンプレミスのサーバーやアプライアンスに対応する方法です。当然ですが、Firewallやスイッチにアプリケーションをインストールする事はできません。多くの製品はSyslogに対応しているで、アプライアンスからサーバーにSyslogで転送して転送先からSumoLogicへログを送ります。EndpointでリアルタイムにSumoLogicへログを送り、かつ同時に永続保存先としてS3にも送ります。Sourceで取り込みます。パターン1SumoLogicの保存期限が切れた後はログを見る必要がなければこのパターンです。パターン2実現出来る事はオススメと同じです、こちらの方法でしか何か実現出来ない事があれば採用しましょう。EndpointでリアルタイムにSumoLogicへログを送り、かつ同時に永続保存先としてS3にも送ります。Sourceで取り込みます。パターン1SumoLogicの保存期限が切れた後はログを見る必要がなければこのパターンです。パターン2実現出来る事はオススメと同じです、こちらの方法でしか何か実現出来ない事があれば採用しましょう。Logs(以降、CWL)でもログを見たい場合に採用します。Agentを使う事ができますが、統一したいならfluentdを使用しましょう。FirehoseでS3バケットへLambdaでSumoLogicへ送信します。CWLには無制限ではなく期限付きで保存する設定を行いコストを抑えます。マネジメントコンソール上でもログが直近のログが見たい場合に採用しましょう。アーキテクチャが複雑になるので本当に必要なのかしっかりと検討すべきです。マネージドサービス(S3・CWL)オススメのパターンS3に出力できるサービスはS3へ出力しましょう。Firehoseを使ってS3に送信します。CWLには無制限ではなく期限付きで保存する設定を行いコストを抑えます。SumoLogicへはCWLからLambdaで送ります。Sourceを登録します。SNSにで受け取れる情報を元に詳細な情報が必要場合は、Lambdaを挟んで情報取得や整形をしてからSumoLogicへ送信しましょう。InspectorがSNSにで送信する内容はどういったアクションを受け取ったかだけですが、Lambdaを挟めば詳細な調査結果をSumoLogicへ送ることが出来ます。リモート参加もOK〜クラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。〜ITエンジニアのお仕事とホンネ〜1月30日に新卒向けの会社説明会〜ITエンジニアのお仕事とホンネ〜を開催します。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。濱田孝治268「ふわわぁ、眠いな。藤井元貴90Gitリポジトリ内を検索する機会はよくあると思います。grepコマンドを使えば、git管理下のファイルのみを対象としてgrepができます。シンプルなコマンドですが、利便性はとても高いと思います。記事2020年01月20日かずえ81速報です。先程大阪リージョン開設予定がアナウンスされました!!以前から大阪ローカルリージョンという色々と制限がついた特殊なリージョンが存在していましたが、それが拡張され、東京リージョンなどと同じ通常のリージョンになります!2021年初頭開設予定です。武田隆志1143このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe326件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui326インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。濱田孝治268「ふわわぁ、眠いな。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。