終わりなく増えていくストリームデータ特化の分散ストレージ「Pravega」、EMCがオープンソースで公開。ネットワーク終わりなく増えていくストリームデータ特化の分散ストレージ「Pravega」、EMCがオープンソースで公開。これまでのストレージとどう違う?[PR]2018年2月26日ファイルへの保存やデータベースへの格納といった、これまで親しまれてきた方法では扱いにくい、新しい形式のデータが存在感を高めつつあります。それは継続的に大量のデータが流れ込んでくる「ストリームデータ」です。システム内のさまざまなアプリケーションやサーバが生成するログ、ソーシャルメディアから流れてくる利用者の声や自社製品の評判、あるいはIoTを活用したシステムでは、工場内やオフィス、工作機械や自動車などの機器に組み込まれた多数のセンサーから大量に送られてくるリアルタイムデータなどがそれにあたります。多様で、データの断片ごとに時刻や順番を持つこと。ストリームデータの量は動的に変化し、明確な終わりがないため容量が際限なく増えていくこと、などが挙げられます。したストリームデータを扱うシステムは、例えばKafkaでリアルタイムにデータを収集し、それをCassandraやSparkなどで分析する、といった複数のミドルウェアを組み合わせた構成が一般的でしょう。この場合、ミドルウェアごとにそれぞれストレージを持つ個別のシステムで運用されることになります。システム管理は複雑になり、システム間でのデータ複製などによる手間もかかるものになるでしょう。EMCがオープンソースとして公開した「Pravega」(プラベガ)は、ストリームデータの処理に最適化された単一の抽象化されたスケーラブルな分散ストレージを実現するソフトウェアです。Pravegaはストリームデータを高信頼かつスケーラブルに保存するストレージを実現すると同時に、保存したデータをほかのシステムに複製せず、そのままPravegaのうえで分析、加工することを可能にします。(ECS)を用いることができます。Store)、コントローラ(Controller)、分散処理基盤(Zookeeper)などを加えものが、Pravegaの基本的な構造となります。Pravegaがストリームデータを受け取ると、まずは受け取ったサーバのローカルキャッシュにデータが書き込まれ、すぐにTier-1ストレージ(Bookkeeper)によってPravegaクラスタ内の3つのサーバに冗長化されて保存されます。この処理は10ミリ秒以内に行われ、これによって高速な書き込みと高可用性が保証されます。Bookkeeper上でデータがある程度の大きさになると、自動的にTier-2ストレージ(HDFS/Isilon/ECS)へデータがまとめて移されます。Tier-2ストレージへの保存が完了すると、Bookkeeper上に保存されていた3つのデータは削除され、新たな読み出しはTier-2ストレージから、またはBookkeeper上にプリフェッチ(先読み)されてキャッシュから行われます。この2つの階層化ストレージを抽象化することで、Pravegaはリアルタイムにストリームデータを保存しつつスケーラブルで高可用かつ大容量なストレージを実現しているのです。保存されたデータは読み出し用のストリームデータAPI経由で、いつでも正確に読みだしてリアルタイムとバッチのいずれの手段でも柔軟に分析、加工できます。Once」対応Pravegaの優れた点は、ストリームデータを分析や加工のためにわざわざ別のシステムへデータをコピーする必要がなく、従来の複雑なリアルタイムデータ処理システムに対してシンプルで高速、スケーラブルなシステムを実現できる点にあります。Once」の特性を備えています。送信されてきたデータを失うことなく確実に捕らえ、重複することなく処理し保存する高い信頼性がある、というものです。PravegaはIoTなどストリームデータが主役となる新しいITシステムにおけるストレージ基盤となる新しい世代のストレージ仮想化ソフトウェアだといえます。Nautilus」も発表しています。それについては、また別の記事で紹介することにしましょう。2.6.0-preview1」リリース。Niino(jniino)IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。2.7サポートを発表Google、Lookerの買収完了を発表。Enterprise、BtoBスタートアップ向け支援プログラムで無料提供と発表。usPublickeyについて/運営者についてお問い合わせ広告についてプライバシーポリシ。