菊池修治(193)107107件のシェア(ちょっぴり話題の記事)この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、菊池です。Firehoseの東京リージョンでの提供が開始されました。Firehoseで読み取ることができるようになりました。Streamsへ送信したデータを、S3やRedshiftへ簡単に保存しておくことが可能になります。StreamsにPUTしたデータを、Firehoseを経由してS3に保存してみます。Streamの作成まずはストリームの作成です。今回はオレゴンリージョンで試しました。ストリーム名とシャード数を指定するのみです。テストなので1シャードで作成します。ストリームが作成されました。ステータスが[Active]になれば利用可能です。続いで、デリバリーストリームの作成です。Stream]が選択可能になっています。streamをチェックすると、作成済みのストリームが選択できます。ここで指定可能なのは、同一リージョンに作成したストリームのみです。Lambdaによる変換はなしで進みます。データの送信先を選択します。今回はS3のバケットを選びました。バッファーや圧縮の有無を指定します。デフォルトで進みました。最後に、設定内容を確認して作成実行です。CLIを使ってデータをPUTしてみます。操作方法はチュートリアルが参考になります。開発者ガイドput-recordでデータを送信します。"49576182398068203153242681558001998866810406977929216002"}PUTできました。問題なければ、そのままFirehoseに送信され、S3に保存されてるはずです。Firehose経由でS3に保存されています。Streamのデータはどうなっているでしょうか。get-shard-iteratorでシャードイテレータを取得します。"AAAAAAAAAAFM2q2P1MsnBKFhYXNTbQxzn7Twbrv4yUGCOHOGIAwJMFqo9pnn6hI3EOkhYvhrC1HLQX7i1i9nQKEAsaYEOH0SlGXKibVrPgKXfbNaFZo60jd8l6tlEiJIvwW2WmoWaOaFhlRIGtwVhM2kURlLq6Lcs4FnHC1xyYNOdDynv9z3oDu6/OKKVf79N56ZT4BiQR5hrs5S43kzgEIsUVYIwslN"}次に、シャードイテレータを指定して、get-recordsでデータを取得します。0}データが取得できています。FirehoseでS3に送信すると同時に、並行してそのデータをKinesisアプリケーション(コンシューマ)でデータを処理することができます。Firehoseの連携が、簡単な設定のみで利用できるようになりました。Streamsで処理しているデータのオリジナルを、FIrehoseでS3に保存しておく、といったことがサックっと実現できます。連携できるのはFIrehoseと同じリージョンにあるStreamとなります。東京リージョンでのFirehose提供が待ち遠しいですね。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。本が出ていたので読んでみたところよかったので紹介させていただきます。使いたいときの注意点を書きました。新井成一64最近Sphinxつかってドキュメントを書いてるのですがなかなかイケています。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介255SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健232こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。カフェ店長のオカノです。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。