Firehoseは何が違うのかAWS特集Kinesis2015年10月28日せーの(270)33この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、せーのです。Family」「Kinesis三兄弟」なんて言われるようになりました。Analytics」が増えて現在の形になりました。Streams」の使い分けについてご紹介したいと思います。Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。Firehoseは同じく次々と送られる大量のデータをRedShiftやS3に流し込むサービスです。notificationでLambdaを起動させてDynamoDBやEC2に流すことだってできます。この2つのサービスは何が違うのでしょう。Streamsの最大の特徴は「レイテンシの速さ」です。Streamsはsub-1、つまり1秒以下でのデータロードにて設計されています。Streamsの使いドコロとしては「次々に上がってくるデータの内容をリアルタイムに加工、表示させたい」というニーズに対応させるのが良いでしょう。LambdaやEC2でStreamsのレコードを拾えるのもすぐに加工してダッシュボード等に表示しやすくするためです。Streamsは「小川」という意味です。流れてくる水を洗濯に使うのか、何かモノを冷やすのか、車を洗うのに使うのか、、、どう使うかはユーザー次第ということですね。Administration(ゼロ管理)」というのが挙げられます。Streamsとは違い、EC2からポーリングしたりLambdaのコードを書く必要は一切ありません。設定を行うだけでS3やRedshiftにデータがそのまま流れます。S3やRedshiftに大量のデータを溜める目的は何か。それはズバリ「分析用途」です。各種BIツールでデータをわかりやすく表示し、様々なクエリをかけて多様な切り口からデータを分析するためにRedshiftのようなDWHは存在します。分析するのにデータがputされてから処理するまでのスピードはそれほど求められません。逆に求められるのは大量のデータを効率よく格納する圧縮技術やいかにセキュアにデータを保持するか、という暗号化技術です。FirehoseはGZIPやSNAPPYといった圧縮アルゴリズムが使えますし、KMSを使った暗号化も可能になっています。Firehoseは「消化ホース」という意味です。火事の家一点目掛けて大量に水をかける、という一つの目的にしか使えませんがホースを向けたら後は放っといてもいつまでも水をかけ続けることができる、ということです。まとめいかがでしたでしょうか。Firehoseの違いを簡単にまとめてみました。Lambda、という流れを作っても全く問題はないのですが、上のように何故Firehoseというサービスがあるのか、という点を抑えておけばLambdaやEC2の中も分析やETL処理と言った用途に限定されていくのではないでしょうか。適材適所な使い方をするのがいいですね。2,702,446せーのと申します。北海道にて犬2匹とともにのんびりコードを書いたりしています。最近は触れるデバイスをネットにつなげて遊ぶのにはまっています。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。濱田孝治391re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。CAFEの他、NTTデータとセブンイレブンの取り組みや、サインポスト、Zippinなどの各社と流通・小売業との連携を業界マップに作成してみました。泰雨73皆さん、こんにちは。コンサル部のテウです。2020年もあっという間に2ヶ月が経ちました。今年こそ機械学習に入門しようぜ!!って決心された方もいらっしゃると思います。入門できる方法をご紹介させて頂きたいと思います。本記事の手順通り、ランチタイム等の時間を活かして、手軽に入門してみてください。夏目祐樹410こんにちは、CX事業本部の夏目です。MacのタッチバーのタッチIDが非常に便利なのですが、Terminalでsudoを叩かないと行けないときに使えたらなぁと思ったので、情報を共有します。濱田孝治391re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。臼田佳祐296ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介256SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。