最近、ETL処理に変わるELT処理というものが広まってきています。今回は従来のETL処理とELT処理を比較し、ELT処理のメリット/デメリットをご説明します。ELT処理とは今までデータベースにデータファイルを登録する処理方式にETL(Extract/Transform/Load)処理というのが使われてきました。ELT処理はETL処理のTransform(変換・加工)とLoad(データロード)を入れ替えた処理方式です。(参照:ETLとは~あらゆるデータファイルを理解してデータベース化する~)そして、ELT処理の特徴としては、データの変換・加工処理をデータベース内で行うことがポイントとなっています。ELT処理のメリットELT処理は、データベースの種類ごとに用意されているローダーなどのインポート機能を使用して、データベースの中にデータファイルを取込んでからSQL命令を使って変換・加工処理を行います。反面、ETL処理の変換・加工処理はデータベースの外でETLツールやプログラミングで変換・加工処理を行います。そのため、データ分析者側からすると、ETL処理は変換・加工処理を行うために普段常用しているSQL命令以外にETLツールやプログラミング処理のスキルが必要になり、習得するまでにある程度の時間が掛かりました。ELT処理の場合は変換・加工処理もSQL命令で行えるため、多少の使用方法は異なりますが習得するのにはそれほど時間はかかりません。データベースの方が大量のデータ同士の結合や抽出などが容易に行えるため、ELT処理の方が向いている場合もあります。ELT処理のデメリットELT処理はデータベースの中で変換・加工処理を行うためデータベースへの負荷が大きくなります。複数人で使用しているデータベースの場合、1人が非常に処理負荷のかかるELT処理を実行中の場合、他の人の処理が圧迫され、処理が遅くなったり実行できなくなる場合があります。変換・加工処理のために大容量の一時領域(テーブル)を使用していた場合、データベースの容量が圧迫される場合があります。そのため、ELT処理を行う場合は、実行する時間帯を選んだり、実行後は不要な一時領域を消すなどする必要があります。ELT処理は万能ではないELT処理は近年のデータベースの性能向上やクラウドサービスのデータベースサービスを背景に生まれた新しい処理方法です。処理の要となるのはデータベースの容量とローダーなどのインポート機能の性能です。インポート機能は「どれだけデータファイルを変換なしでデータベースに取込めるか」が決まってくるため重要な機能です。大量のデータを蓄積し、活用するためのデータウェアハウスと呼ばれる種類のデータベースでは、インポート機能が充実し、CSVファイル形式以外にもJSONファイル形式なども扱える場合があります。~ビッグデータ処理の新トレンド~AUTHOR他のスタッフを見る"ギックスギックスからのお知らせをお伝えします。加えて、「ギックスらしさ」につながる“インターン生による記事”や“外部からの寄稿”なども、こちらのアカウントで発信していきます。活用して機械学習のワークフローを構築する2020.02.03【メディア掲載】「トチカチ」が日経クロストレンド、日経MJに取り上げられました。2020に、「トチカチ」を出展しています。Learning」|文系”非”エンジニアがディープラーニングを学ぶブログブログ購読にはRSSとTWITTERが便利です。CONCEPTギックスの創業理念と目指す姿をご紹介します。グラフ理論などを駆使し、経営課題の解法を探りますデータ基盤構築サービス理論を実務に繋いで成果を創出。永続的な拡張により顧客便益を最大化します。情報セキュリティ基本方針CONTACTRSS。