BLOGSpeee開発陣による技術情報発信ブログです。Firehose、Athena、QuickSightを利用したデータ集積基盤の構築TweetSpeee開発基盤部、兼ヌリカエエンジニアの森岡です。と私が発表させて頂きました。QuickSightを使って、データ集積基盤を作る。スライドはこちらになります。speakerdeck.com今回は、この発表内容について、補足情報を追加してお話をさせて頂きます。Firehose、Athena、QuickSightを利用したデータ可視化ツールの1つの実装例として見て頂ければと思います。最初に弊社Speeeでは、ヌリカエという外壁塗装の一括見積もりサービスを運用しています。複数社紹介させていただくというサービスです。CS)の効率化・品質向上が事業の価値と密接に関わっています。作ったもの実際に利用されている可視化ツールの一つグラフを上図に示します。この図では、管理画面にて行っている業務内容と、それらの利用回数などを表示しています。いう案件に対して、どれくらいの時間行っていたのかを確認できるようになっています。作った理由ヌリカエにおいては、お客様と直接やりとりをするのはCSの業務となっています。このCSですが塗装に関する専門的な知識や、地域ごとの相場などの把握が求められ、採用も育成も非常に時間が掛かるものとなっています。そのため、近々においては、お客様及び施工業者の満足度を向上させるために、CS1人あたりの業務の効率化が重要となってきます。最適なCS運用を発見することを目的として、データ可視化ツールの開発を開始しました。本ツールにおいて、僕たちが取得した指標は下記の通りです。FirehoseS3AthenaQuickSight本可視化ツールのために、新たに用意したリソースは上記4点です。AthenaとRDSをデータストアとして利用し、QuickSightでデータを可視化しています。このシステムについて、データの集積、データの可視化の2つの処理を通して説明します。IoTなどの分野での活用を想定されているようで、簡単な設定だけで利用することが出来ます。*1ヌリカエでは、業務効率化のためにWindows/AndroidアプリもCSの運用に利用しています。その集積したデータをAthenaに読み込ませることで、分析用のデータを用意しました。QuickSightを利用しています。QuickSightは、AWSから提供されているBIツールです。re:dashみたいなものというとイメージがしやすいかも知れません。AWS製のサービスですので、RDSやAthenaとの接続が非常に簡単に実現できます。費用はユーザーの人数に依存し、1ユーザーあたり$9という非常にお安くなってます。架電などの行動ログはAthenaから、売上データなどのデータはRDSから取得し、集計しています。現在では特に問題なくSPICEにインポートすることが可能とのことです。Redshift、TreasureData、Athenaなどあります。Athenaを選択しました。分析の複雑度や頻度が高くなったときはRedshiftへ移行する予定です。上の図が、実際に僕たちが表示しているグラフです。リアルタイムで確認しています。QuickSightを使って、データ可視化基盤を作ることができました。この基盤は工数は1営業日、費用は月$10程度で実現することができています。補足情報AthenaでのPartition運用について取得している行動ログは、一月あたり3MB程度でした。よってスキャンされたバイト数に対して課金されます。*3上記の通り、Athenaはデータ読み込み量課金で最小単位は10MBです。AthenaでPartitionは行っていません。発表内容はこちらになります。2018に行ってきました!こんにちは。開発基盤ユニットの@selmertsxです。エンジニアの中嶋(id:nyamadori)です。参加レポート(2日目)こんにちは。登壇しました新卒2年目エンジニア(もう少しで3年目)のkohtaro24です。参加してきました月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。