我々が生きている物理的な世界からデータを集め、クラウドという空間に情報を送るには色々面倒なことがあるということで、前回は実世界からのデータ収集の難しさとデータの到達保証について書きました。IoTシステムで苦労する部分はもう1つあります。それはクラウドに貯めたデータを取り出す部分です。IoTシステムで扱うデータは主にセンサーから集められたデータです。センサーは毎分あるいは毎秒データを吐き出すので、時間順で並んだデータということで、時系列データと呼びます。31,536,000データポイントになります。1個のセンサーのデータを1年間集めただけで3000万件以上のデータが生成されてしまいます。実際に企業で使われているセンサーデータシステムの設計を見てみると、これらのセンサーの時系列データを通常のデータベース(リレーショナル・データベース)などに格納するような作りになっていることが多々ありますが、これは良い設計とは言えません。集められたデータの使い方として一般的なのは、ある期間のデータを取り出して、グラフの形で可視化するものです。過去1年間で騒音が激しかった時の状況を調査したいというニーズがあったとします。これを実現するには、過去1年間のデータを取得し、騒音が激しいピークを検出する必要があります。通常のデータベースでこの作業をインタラクティブに行おうとすると、3000万件のデータを読み出して最大値を求めるような作業が必要になります。今どきのサーバーはかなり高速になったとは言え、3000万件のデータ読み出しには1-2分程度の時間がかかります(手元での測定にて)。ユーザーがデータをリクエストしてから結果が画面に出るまでに最低1-2分かかってしまい、「お待ち下さい」の回転マークを長時間ださざる終えません。これはあまり良いユーザー体験ではありません。できれば1年間のデータを処理する場合でも瞬時に結果が変えられるべきです。このグラフは7ヶ月の騒音データを表示したもの。このデータを瞬時に取り出したい似たような問題で、毎秒収集されたデータを1日分グラフ表示したい場合を考えてみます。1日分のデータは86400件ですので、直接読み出してもなんとかなる量ですが、8万件のデータはサーバーから離れたユーザーの元に送ると、2つの問題が起こります。データ転送量が多くなるので、その部分の遅延ブラウザ側のJavaScriptのグラフ描画の負荷やってみるとわかりますが、8万データポイントのグラフをブラウザのJavaScriptで描画すると耐えられないほど重く感じます。画面上のグラフがきれいに見えてかつ有用なためには、だいたいグラフ上の点の数が100-200程度あれば十分です。1日のデータの場合は、だいたい10分ごとにデータをまとめて144データポイントのグラフ描画用の集計データを返すとよいでしょう。この程度のグラフを表示する場合でも、ブラウザに生データを送るとJavaScriptが処理しきれなくなってしまうこの2つの例でも分かる通り、通常のデータベースにセンサーなどの時系列データを保存するというのはベストな方法とは言えません。生のセンサーデータはむしろログデータのような形で収集し、利用目的に合わせてデータを加工し、加工済みデータを主に使うというアプローチが良いと思います。長期間でデータは、ログ形式の生データからdaily(日次)データとして集計を行っておき、こちらを読み出すようにすれば、1年間のデータ読み出しは365レコードの読み出しでしかありませんので瞬時に結果を返すことができます。1日のグラフ描画のためには10分おきのデータを同じように生成しておけば、同じく効率的になデータを返すことができます。加工済みデータを用意するとストレージ利用量は増えますが、ユーザー体験の向上を考えれば十分意味のあるトレードオフといって良いでしょう。TSDB(時系列DB)として、このようなデータ加工をサービス内部で実装し、使う側はこれらのことを特に考えずデータを入れれば良いような運用を行っています。過去3年ほどこのような形でのシステム運用を行っていますが、ほとんどの用途には対応できているようなので設計としては適切なアプローチだと考えています。エンジニアの武田です。-はじめまして!MODE東京オフィスの篠田です。「MODEはIoTのク...2019-10-24IoTで使われるセンサーゲートウェイのソフトウェア・アーキテクチャはじめまして、MODEエンジニアの野本です。センサークラウ...2019-10-08実世界からのデータ収集の難しさとデータの到達保証MODEのCEOの上田ガクです。モビリティクラウドのご紹介カテゴリースターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。