新機能紹介Tableau『カスタマーストーリー』を支えるツール特集2018年01月11日たまちゃん(77)37この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。DI部のtamaです。これまでもベータ版の10.5について情報発信を行ってきましたが、正式バージョンということで、10.5の新機能に関するエントリを投下していく予定です。本エントリでは、10.5の目玉機能となる「Hyper」について見ていきたいと思います。Hyperとはそもそも何なのか?という視点で、Hyper自身について紹介します。新しいインメモリデータエンジンテクノロジーです。抽出やクエリのパフォーマンスが向上し、これまでよりもさらに大規模なデータセットに対応したことで、ビジネスのニーズに応じてデータを抽出できるようになります。SoftwareHyperとは、OLTP(オンライントランザクション処理)システムやOLAP(オンライン分析処理)システムのデータを、パフォーマンスを落とすこと無く処理できるように設計された、インメモリデータベースシステムです。一つのシステムでトランザクションと分析を同時に行うことができます。ドイツで誕生したこの技術は、2016年にTableau社が買収し、Tableauバージョン10.5でついに統合を果たしました。Hyperの特徴トランザクションと分析を同時に処理できる今日、企業によるデータ分析は一般的となってきていますが、日夜多くのトランザクション処理が走るDBに対して、直接分析処理を実施する企業はそう無いと思います。ミッションクリティカルな本番DBに対して分析処理を行えば、多大な負荷がかかります。その結果、多くのトランザクション処理が遅延又は停止し、業務そのものに支障をきたしてしまいます。多くの企業はOLTP用DBとは別に、OLAP用DB(DWH)を別に構築しています。することで、OLTPを安定稼働させることができます。それとは引き換えに、DWHへのデータ抽出によるデータ鮮度の低下や、2つの別のシステムを維持し続けるコストの問題が発生します。Hyperは、OLTPとOLAPを同時に実行することができます。(MVCCという仕組みで同時処理を実現)この仕組によって、上記のデメリットを解消することに成功しています。HyperのトランザクションはACIDに完全準拠しています。トランザクション処理の信頼性は保ちつつ、鮮度の高いデータ(リアルタイムのデータ)に対して、高速な分析処理を行うことができるようになっています。Softwareクエリを機械語に変換して実行するHyperは、SQLやPL/SQLライクな言語で処理を記述することができます。Hyper自身はこれらのクエリを処理しません。Hyperはクエリを機械語に変換します。(LLVMコードを生成→機械語にコンパイル)こうすることでクエリの実行時間を早めています。CPUを効率的に使用し、最適な並列処理を行う従来のDBシステムでは、いくらコア数の多いCPUを用意しても、並列処理に使用されるコアは数個止まりでした。Drivenという仕組みを採用しており、処理を細かく分解し、それをCPUの全てのコアに割り振ることで、多数のコアを余すところなく使用します。(120個以上のコアに対応)Hyper採用の経緯ドイツ生まれの技術Hyperは、ドイツのミュンヘン工科大学の2人の教授から始まったプロジェクトです。院生とともに研究を続け、開発されたのがHyperです。大学発の技術ということになります。大学の研究プロジェクトから商業向けプロジェクトとしてスピンオフされ、Hyper社として活動を続けていましたが、2016年にTableau社によって買収されました。これにより、TableauにHyperの技術が組み込まれることになりました。HyperでTableauはどうなる?TDEファイルに代わる抽出形式として使用Tableau10.5においては、抽出の形式にHyper形式(.hyper)が採用されています。大容量で何かと処理が遅いTDEファイルをHyper形式に置き換えることにより、クエリの実行速度の向上が期待できます。(フィルタ等の各種操作の反応速度が向上する。抽出処理自体のパフォーマンス向上も期待できると思います。おわりに今回は、Tableau10.5で登場したHyperについて、まずはHyper自身について見てきました。やって調べてみると、非常に魅力的に思えます。実際のところ、Tableauの使い勝手としてはどうなるのでしょうか?また、TDEファイルとの住み分け、使い分けはどのようにすればいいいのでしょうか?次回以降、Hyperのその辺りについて触れていきたいと思います。SystemHyperの公式ページです。行われたHyperに関するセッション動画です。Software、インメモリデータベース「HyPer」を買収。ScienceMorsel駆動処理について書かれています。Snowflakeの四刀流を目指す。AWS?何それ?元学生プロレスラー。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。使いたいときの注意点を書きました。本が出ていたので読んでみたところよかったので紹介させていただきます。