移設されました(2019/7/1)データ分析で手作業が多くなれば、それだけミスが発生しやすくなる以前、「データ分析の失敗の大半は分析者の”思い込み”ではないか」という話題に触れましたが、結局のところ人の手が入る以上、そこにミスが発生しやすくなるのは必然です。そのため、データ分析の自動化が必要になるのです。データ分析の自動化とは?データ分析は、DBに対して特殊な命令文(SQLなど)や高機能なBIツールなどを複数回使って行われます。この処理と処理の間には、手作業が入るため、そこで操作ミスが発生する可能性があります。これらの処理同士を一連の処理として固め、手作業や人の判断を必要としなくすることが”データ分析の自動化”になります。自動化を難しく考えてはいけない”データ分析の自動化”と言った場合、「自動化=システム開発」と連想してしまい、専門スキルが必要、開発工数が掛かるなどと考えてしまう方も多いと思います。システム開発を行わなくても可能な”データ分析の自動化”は沢山あります。これから簡単な自動化の方法についてご紹介したいと思います。毎月データを受領して分析するような定常分析業務などでは、毎回、DBに対して同じような命令文を実行することは多いと思います。命令文を毎回作ったり、命令文が記載されたメモファイルが各所に点在させていることは無いでしょうか?これらを命令文や処理、作業手順を纏めて”誰でも分かる”ように保存して置くことが重要です。”誰でも分かる”ようにのため”本人しか分からない”のは自動化にはなりません。自動化は、誰でも行えないと自動化になりません。可能な限り一個人に依存しないように処理を纏めましょう。簡易なジョブ管理システムを使用する日本でジョブ管理システムと言った場合、JP1などの高価な商用ツールを思い浮かべる方も多いと思います。商用ツールにも引けを取らない無償のジョブ管理システムが存在します。Studio(以下、TOS)は、ETL処理をプログラミング無しで行えるため、システム開発経験がなくても簡単な処理を作れます。これらの無償のジョブ管理システムを使うことで、分析データファイルの加工、DB操作などが比較的簡単に行えます。Talendがバッチ処理の開発方法を変える)“可変的な手作業”から”不変的な生産ラインプロセス”に替えるデータ分析では、チームを組んで複数人でデータ分析を行うことは珍しくありません。その中で各自の担当領域を決めて、作業を進めますが、担当者が多くなればチーム分析が難しくなります。そのため、担当者間の処理を業務フローとして纏め、データインプットから結果を出すアウトカムまでを明確にする必要があります。業務フローとして纏めることで、”なんとなく”行っていた担当者間の処理を受け渡しを明確にし、担当者間の受け渡し漏れを少なくすることができます。業務フローの進捗状況で分析チーム全体の進捗状況を把握することができます。“ミスの減少”の対策が”工数削減”に繋がるデータ分析で100%の自動化はありません。分析データは、業種業態などによって同じものはなく、人の思考が入るから分析データから新しい発見が生まれるからです。100%の手作業の内、10%でも自動化できれば、10%分のミスの可能性が減り、そして10%のミスの確認のためのチェック作業か減ります。結果、データ分析処理自体の工数削減は少なくても、チェック作業の工数削減が行えるため、データ分析のプロジェクト全体として工数削減を行うことができます。データ分析の”スピード重視の自動化”は、パソコンやDBの性能によって処理の限界があるため、限定的な工数削減にしかならない場合があります。データ分析の”ミスの減少のための自動化”は、ちょっとした自動化でも、積み上げていけば、大きな工数削減になるのではないでしょうか。AUTHOR他のスタッフを見る"ギックスギックスからのお知らせをお伝えします。加えて、「ギックスらしさ」につながる“インターン生による記事”や“外部からの寄稿”なども、こちらのアカウントで発信していきます。活用して機械学習のワークフローを構築する2020.02.03【メディア掲載】「トチカチ」が日経クロストレンド、日経MJに取り上げられました。2020に、「トチカチ」を出展しています。Sparkとは?:Hadoopに続く分散処理のフレームワーク|データ分析用語を解説CMOはなぜ定着しないのか:マーケティング担当の”経営者”という理解がすすむかどうかが鍵|戦略用語を考えるブログ購読にはRSSとTWITTERが便利です。CONCEPTギックスの創業理念と目指す姿をご紹介します。グラフ理論などを駆使し、経営課題の解法を探りますデータ基盤構築サービス理論を実務に繋いで成果を創出。永続的な拡張により顧客便益を最大化します。情報セキュリティ基本方針CONTACTRSS。