移設されました(2019/7/1)外部データファイルの特徴を理解して、データベースに取込めるインポートファイルを作成する以前、データクレンジングの技法として、データファイルの取込み方について記載しましたが、今回は、このデータ取込技法が、「ETL」として、どのように行われているかを、各セクションに分けて解説します。ETLとはETLについて、Wikipediaの記事を転記します。Extract/Transform/Load(略称:ETL)とは、データウェアハウスにおける以下のような工程を指す。最終的ターゲット(すなわちデータウェアハウス)に変換・加工済みのデータをロードETLは、データウェアハウスにデータを実際にロードする方法として重要である。ETLという用語はデータウェアハウスでのデータのロードだけでなく、任意のデータベースでのロード工程を指すこともある。ETLはレガシーシステムとの統合にも使われる。通常のETL実装は、処理についての監査証跡を記録する。ほとんど全ての設計において、この監査証跡は、元のデータが利用不可能な場合にETLの結果を再現できるほどの細粒度のレベルにはなっていない。出所:wikipedia次に各セッションでどのように行われているかを解説します。「Extract」工程では、情報源となるシステムからデータを抽出することです。情報源とは、クライアントのシステム、または、データベース内の情報です。そのため、データ抽出の作業自体は、セキュリティー等の関係でクライアントにやっていただく事が多いです。データ分析担当者(社)は、クライアントに対し、必要な情報と、CSVファイル形式などのファイル形式を細かく指定します。graffeサービスのデータ受領は、必要な情報の抽出の指定は行いますが、ファイル形式は問いません。次の「Transform」のセクションで扱えるデータであれば、幅広い範囲で対応できます。必要によっては、クライアントのデータ抽出作業をツール提供や技術提供でサポートを行っています。「Transform」工程では、情報源から抽出したデータを一定の規則にデータ加工し、データベースに取込める形式にします。前の「Extract」工程でCSVファイルなどのデータベースと相性が良いデータ形式でファイルが作られている場合は、ほとんど「Transform」工程の作業はありません。そのためには、データ抽出元が表形式のデータ、かつ、「Extract」工程の担当者が「Load」工程でデータベースの取込先のテーブルレイアウトを把握している必要があります。「Extract」工程と「Transform」工程の担当者(社)が異なる場合は、「Transform」工程で様々な分析・加工を行う必要があり、3つのセクションで最もコストが掛かります。graffeサービスでは、CSVファイルやExcelファイルなどの表形式のデータ以外に、システムログや文章ドキュメント、固定長電文などもデータベースに取込みます。システムログなどは、1つのログの中に複数の異なる情報が混じっているため、1つのデータファイルから、複数のテーブルのデータファイルに変換します。データをロード「Load」工程では、「Transform」工程で作成したデータファイルをデータウェアハウスといわれる、データベースの情報を蓄積する場所にデータ取込(インポート)します。殆どの場合、データ取込処理は、各種データベースが持っているインポート命令を使います。これは、データベースのSQL命令の行追加(INSERT)命令に比べ高速であるため、大量データのデータ取込に適切なためです。Loaderなどの優れたインポート命令があるため、幅広いデータファイルを処理できます。SQLなどには、高機能なインポート命令はなく、テーブルレイアウトに合わせデータファイルのレイアウト、UTF-8などの文字コードを変える必要があります。graffeサービスでは、「Load」工程でデータファイルを直接データウェアハウスに登録しません。一度、取込専用のテーブルに登録し、SQL命令を使用したクレンジングを行い、データウェアハウスに登録します。これによって「Transform」工程の負担を軽減し、取込専用のテーブル内でデータを確認してデータウェアハウスに登録することでミスを少なくしています。最近ではデータベース環境の大容量・高速化によって、Transform(変換・加工)とLoad(データロード)の手順を逆転させたELT処理(Extract/Load/Transform)の需要が多くなってきています。ELT処理はデータベースの中でSQL命令を使って変換・加工処理を行うことができるため、比較的処理が容易になるなど多くのメリットがあります。ETLとは~あらゆるデータファイルを理解してデータベース化する~AUTHOR他のスタッフを見る"ギックスギックスからのお知らせをお伝えします。加えて、「ギックスらしさ」につながる“インターン生による記事”や“外部からの寄稿”なども、こちらのアカウントで発信していきます。活用して機械学習のワークフローを構築する2020.02.03【メディア掲載】「トチカチ」が日経クロストレンド、日経MJに取り上げられました。2020に、「トチカチ」を出展しています。12:42Amazonのサイズ感レビューの信頼性ってどうなの?:インプットデータの”バイアス(偏り)”を理解しよう|ニュースななめ斬りbyギックス”考え方”を考える|正解の探し方のコツ:当てに行くな。ブログ購読にはRSSとTWITTERが便利です。CONCEPTギックスの創業理念と目指す姿をご紹介します。グラフ理論などを駆使し、経営課題の解法を探りますデータ基盤構築サービス理論を実務に繋いで成果を創出。永続的な拡張により顧客便益を最大化します。情報セキュリティ基本方針CONTACTRSS。