Conductor」を開発いたしましたのでお知らせします。※1)を使用した独自のビッグデータ分散処理基盤管理の仕組みを開発することにより、これまでデータ活用において多くの企業で課題とされてきた「データ処理時の安定性の確保」と「コスト削減」の両立を実現しました。【基幹技術開発の背景】ビッグデータの分散処理クラスタは、EMRに限らず、その一部に障害が発生することを前提として構築されており、それ故に安定的なサービス提供に苦労する傾向にあります。フロムスクラッチではこのようなビッグデータの分散処理クラスタの抱える安定性の問題に対し、独自のEMRクラスタ管理システムを構築することで機能の障害を極少化し、マーケティング担当者が毎日安定的に安心してビックデータを活用いただける環境を低コストで実現いたしました。Conductor」には、以下のような機能が含まれています。・EMRクラスタがダウンした場合に復旧完了まで自動的にバックアップのEMRクラスタにスイッチする機能こうした基幹技術を開発することにより、b→dashでは、常時300以上、一日最大1000のノード数のEMRクラスタの安定運用を実現しました。ビジネスデータ10TB/日、ユーザーオペレーション15,000回/日といった大量のデータを確実で安全に処理すると同時に、柔軟性・自由度の高いデータ活用を実現いたしました。2018」にてアーキテクチャの斬新さを評価され、最優秀賞を受賞いたしました。今後もb→dashを通じて「いつでも・ひとつで・誰でも」データ活用経営が実現できるマーケティングソリューションを提供してまいります。Hadoop」をベースにしており、ログ分析やウェブインデックス、データ変換(ETL)、機械学習などを含む様々なビッグデータを確実かつ安全に処理・分析する分散処理サービスです。(※2)キューとは、コンピュータの基本的なデータ構造の一つで、データを先入れ先出しのリスト構造で保持するもの。データを入力された順番通りに処理する必要がある処理に用いられます。