RDBMSだけではない最新テクノロジーとそのユースケースを学ぶ2016/02/04「RDBMSだけではない最新テクノロジーとそのユースケースを学ぶ」――JDMCは2016年1月28日、第32回目となる定例セミナーを開催した(場所はインプレス・セミナールーム)。DBに焦点を合わせたもの。これらは着実に普及しているとはいえ、一般企業のデータマネジメント責任者/担当者から見れば、まだ敷居が高い技術である。Technologies)は冒頭で、次のように説明した。「モバイル、IoTなどが大きな関心事になっている。それらが生み出すデータは膨大であり、特に分析業務の領域ではすべてをRDBで構築することはコスト、データ種類、処理時間の面で現実的ではないことは皆さんがご承知の通り。近年Hadoopが脚光を浴びているのは、ビジネスニーズを考えると自然なことだ。最近ではバッチ処理やインタラクティブなシステムでの活用にもHadoopの利用が拡大し始めている。NoSQLも同じである。RDBのロックやロールバックなどの機能がないか不十分だが、性能は桁違いに速い。これらのことから、いずれもRDBを補完するテクノロジーであり、データマネジメントに携わる方々が理解し、適材適所で利用することが大事になっている」。今日のビジネスニーズ、データ爆発とも言えるデータ量の急増、データの種類や特性に応じた処理・・・。いった様々な要件を考慮すると知らない、出来ないでは済まされないというわけだ。講演内容を紹介しよう。Hadoopとは?」と題して講演した。クリエーションラインはクラウドなど最新技術に特化したインテグレータ、コンサル担当会社である。木内氏によると、ネット系に限らず、一般企業でもRDB以外のDBMSが使われ始めている。これは非構造化データ(メール、文書、画像、SNSなど)の利用が拡大しているためで、市場シェアを見るとNoSQLの中でもMongoDBの利用が増えているとのこと。Persistence」という考え方があると話す(Polygoltは「多言語を操れる人」)。これに基づくと、透過的に多種多様なデータにアクセスできることが重要であり、HadoopやNoSQLにもRDBと同様にアクセスできることが重要になる。Hadoopの必要性が出てくるという。これが本講演のメインテーマである。システム技術的には、Hadoop上にRDBを構築するものと、SQLを使ってHadoopのファイルにアクセスするものの2つがある。関連ソフトウェアや技術は多く存在しており、これらを理解し利用することでビッグデータを扱うことが容易になる。このほか、Spark、Drillなど最新のテクノロジーに言及。それらがどんな領域で利用されているのか、課題は何かなどについても、コメントがあった。「NoSQLやHadoopの最新活用事例」というテーマだった。アドテクとは、いうまでもなくアド(広告)+テクノロジー(技術)の造語である。広告主とユーザの間には数多くのアドテクが関与するが、鷹雄氏は特にHadoopに焦点を当てて解説した。題材は10PB(ペタバイト)、レスポンス性能5msのデータ基盤を2ヶ月で作るプロジェクトである。稼働させる構成を机上で料金算出したところ、毎月3.3億円必要となり、断念せざるを得なかった。そこでオンプレミスでMAPRを選択し構築することにした。結果、DWHとの連携を例にすると、従来1TBのデータをDWHにロードするには何時間も必要であったが、これを30分でロードすることができたという。分析の精度や頻度を高められ、広告効果を向上できるなどビジネス面でプラスの効果を生んでいるという。勝規氏によればSparkにより集計・レポート・ETL・分析・予測での利用、オンプレミスとクラウドの両方を利用したシステム例を紹介した。アドホック分析のニーズは多く、その際には人間の(根拠のある)直観が案外正しいことが多いらしい。このため思い立った分析のフィーリングが無くならない10分以内に結果を見ることを大事にしているという。今後2つのことにチャレンジしたいという。分析システムではETLが重要であり、例えばデータフォーマット担当者が関係者に通知することなく変更することによりETL処理が異常終了するということを、データフォーマットのメタデータをきちんと管理することで解決したいと考えている。一つは、データ転送の処理時間、データ保管場所、コストを考慮し、なるべくシステム間でのコピーが発生しないようなシステム構成を考えているという。目的に応じて複数のシステムを組み合わせることで最適なパフォーマンスに近づけられると考えている。講演を通じ、データ活用、データ分析に関係する最新テクノロジーを学ぶということができたと思う。技術よりの難しい話も出たが、多くの質疑応答により会場の退出時間ぎりぎりまで続いたことからも聴講者の関心の高さがうかがえた。JDMCとしては本セミナーにより、最新技術を知って頂くことで業務部門の方には最適なシステムの利用、情報システム部門の方には最適なシステム構築に役立てて頂ければ幸いである。