2018AWS特集2018年11月28日じょんすみす(125)9この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、小澤です。Practices」のレポートとなります。本セッションの概要は以下の通りです。cost.(このセッションでは、大規模なデータ分析を簡素化するためのアーキテクチャ原則について説明します。データ構造、クエリの待ち時間、コスト、要求率、アイテムサイズ、データ量、耐久性などの基準に基づいて、各段階で適切なテクノロジを選択する方法を説明します。最後に、これらのテクノロジを組み立てるための参照アーキテクチャ、デザインパターン、およびベストプラクティスを提供して、大きなデータ問題を適切なコストで解決します。)セッションレポートデータ活用のタイプデータ分析を行う際にはまずそれがどのような活用するのかを考えなければなりません。本セッションではデータ分析の種類として3つをあげています。バッチ処理やBIなどからのインタラクティブな操作リアルタイムにストリームデータを処理する機械学習また、どのような仕組みを使ってデータ分析の結果を活用するのかも考えなければなりません。可視化するマネージドサービス(EMRやRedshiftなど)を活用するサーバレスな仕組みを活用する(AthenaやGlueなど)ビッグデータを活用するためのツールは数多くあり、AWS上のサービスも充実しています。データ分析に必要な処理とその流れ個別の処理で利用すべきアーキテクチャを開設する前に、まずは単純化したデータ分析の流れ全体像を伝えています。処理の流れとしてはデータを集めるデータを蓄える分析や前処理などデータに対する処理を行う分析結果から洞察を得るとなっています。ここでは、前処理やデータの加工と分析そのものをProcessとして扱っています。分析で扱うデータには温度という考え方があります。これは比喩表現ではありますが、扱う頻度やデータ量に応じて3つに分けられます。Hot、すなわち熱いデータは最も高頻度にアクセスされる少量のデータを表しています。これはリアルタイムに処理されるデータのようにまさにその瞬間のデータとしてほしいものとなります。必要なのはその瞬間のデータのみなので量としてはわずかですが低レイテンシで取得可能なことが求められます。Warm、温かいデータはHot程ではないがよく利用されるデータとなります。これはたとえば直近〇週間など利用頻度がいろんな場面で分析されることが多くなるデータとなります。ここまでで何となくわかるかと思いますが、Cold、冷たいデータはめったに利用されないが蓄積はしている過去数年分のデータなどといったものになります。データの収集・保存これらの基礎知識を踏まえて各プロセスで必要となる要素を順にみていきましょう。最初の"データを集める"部分となります。このプロセスでは何で使っているデータかによって適切な保存先が異なります。Webやモバイルアプリで利用するデータであれば、そのシステムで活用しているデータベースなどが保存先となっています。ログデータはファイルやオブジェクトストレージに蓄えられます。Strageというものに蓄えられます。ストリームデータはHotなデータです。Firehoseといったものつかって処理やデータの保持をしておきます。ログデータなどサービスが活用されることによって生成されるデータはファイルやオブジェクトストレージに保存しておくことになります。Lakeとしての性質もあります。そのため、保存先として適切なものはS3となります。アプリケーションが保持するデータは通常データベースなどに蓄積されています。RDBやNoSQL、キャッシュなどの選択肢があるのでそれぞれ用途に合わせて適切なものへ保存します。蓄積されたデータには必要な前処理・加工などを行ったり、データを使って分析したりします。このプロセスではどんな処理を行いたいかによって利用するツールを使い分けます。「バッチ処理やBIなどからのインタラクティブな操作」では、その名の通り、定期的な処理の実行だったり、人間が都度処理を実行するようなものになります。データを多角的に分析するためにAthenaやRedshiftを使ってインタラクティブにクエリを実行したり、EMRを使ったバッチ処理をおこなうなど大規模なデータに対してそのまま何らかの処理を行うような場面が想定されます。Serviceを利用して検索可能な状態にしておくという使い方も可能です。Kaflaをそのまま利用します。Streamingを利用することも可能です。機械学習などの予測分析を行う場合は、AWSが提供する機械学習サービスのスタックを利用することが可能です。AMIを利用できます。それらを支えるインフラ環境としてP3インスタンス、C5インスタンスなども用意されています。やりたいことと利用できるサービスの対応をまとめると以下のようになります。最終的に必要な結果を得るためのソリューションデータ分析では最終的に何らかの洞察を得るか、機械学習による自動化の仕組みを作ることになります。この流れはProcessの中でETL/ELT処理をした結果を保持して、その結果を加工して...と繰り返す中での最後のプロセスとなります。Notebookなどデータサイエンティストが行う処理になります。インタラクティブな操作であればデータから洞察を得るためにQuickSightやTableauなどのBIツールを活用します。Practices」のセッションレポートを書かせていただきました。データはシステムよりの長寿なので、しっかりと考えて設計する必要があるということも言われる時代です。適切なデータがなければ適切な分析が行えず、適切な分析が行えないと自社サービスにも影響が出る時代ですので、ぜひ参考にしてただければと思います。ACEの人やってます。機械学習をしたりHadoopをいじったりしてるエンジニア。〜ログ収集、監視、分析を触って体感しよう!〜」を開催しますお申し込み受付は終了しました。ありがとうございました。今後セミナーのお知らせを受け取りたい方は、こちらからご登録をお願いします。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。平野重利123Pythonで、標準入力を変換して標準出力に出すCLIプログラムのテンプレートをご紹介します。菊池修治47こんにちは、菊池です。勉強会#1に登壇しました。サーバのみならずネットワーク機器の仮想化も年々進んでいます。スペックに縛られないこととか、展開のしやすさとか初期考慮点が少なくなるのは嬉しいです。武田隆志1098このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。悠紀235ShifterはWordPress環境をサーバーレスで立ち上げ、静的なサイトを生成することができるサービスです。FAQサイトをサクッと作ってみました。Takumi227こんにちは。DA事業本部の春田です。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。