11:00本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。第1回では、プロトタイプで想定するサービスが作れるかを検証するPoC(概念実証)の辺りをお伝えします。(編集部)目次Page1AI技術の全盛期到来――その現場で働くAIエンジニアに求められるものは?時系列データをディープラーニングで予測するモデルを作ってみる収集したデータとモデルの設計データ前処理の設計Page2データ前処理の実装データの事前確認ディープラーニングの実行モデルによる予測結果の確認AI技術の全盛期到来――その現場で働くAIエンジニアに求められるものは?データを活用したさまざまなサービスや技術をAIと称し、今やAIという言葉をニュースで目にしない日はないのではないでしょうか。AIサービス・技術を支えるAI人材の数は全世界で30万人、実際の需要規模は100万人とも言われています。一方でサービスや技術を早く世の中に出すというスピード競争とコスト観点から、実際に現場で働くAIエンジニアには、どのようにデータを処理すべきか考えて設計し、コードを実装してデータ処理して結果を出す、という即戦力が求められます。本記事では、AIサービス開発に参画するAIエンジニアの仕事例として「時系列データの予測モデル作成」を4回の連載で紹介します。現実の時系列データを集めてきてデータ分析をしようとすると、どのような苦労があるか、私の経験からお伝えします。時系列データをディープラーニングで予測するモデルを作ってみるインターネット上に無料で公開されている政府統計データ「e-Stat」を利用して、ディープラーニングを用いて予測モデルを作ることにします。過去の統計量から、都道府県ごとの現在(または未来)の統計量を予測するモデルとします。本記事で使用したソースコード、データはGitHubで公開しています。記事中では説明を省略した部分のソースコードと使用したデータがあり、実際にマシン上で動かしてみることができます。加工して作成このような、サンプルデータを用いてプロトタイプのソースコードを作成し、想定するサービスや技術が作れるかという検証は、AIサービスを開発する初期段階でPoC(概念実証)としてよく行われています。以下のような、人の長期的な動向に関係がありそうなデータを集めてきたとします。日時(datetime),都道府県(prefecture),卸小売事業所数(ret_offices),卸小売従業員数(ret_employees),卸小売商品販売額(ret_sales)現実のプロジェクトでは事前に技術開発する目標を定め、目的を表現できるような周辺データを計画的に集めますが、ここでは本記事執筆のために任意に集めました。ある都道府県別の転入者数(mig_in)を、前年のすべてのデータを用いて予測する、というものであったとします。前年のデータから今年を予測するという部分は、今年のデータから来年を予測する、と置き換えても同じです。実際に集めた現実のデータは、インターネットで機械学習用に公開されているデータのようにキレイに整っていて、すぐに学習器に掛けられるということはありません。機械学習用の公開データは公開する人がデータを整形してから公開してくれているためです。このようなデータ分析や機械学習器に適した形にデータを整える作業・処理は、データの前処理と呼ばれます。今回集めたデータは、以下のようにデータの粒度がマチマチであったり、期間に欠損があったりという、キレイなデータを前提とする学習器に対しては問題があります。図はクリックまたはタップすると、拡大画像がポップアップ表示されます(以下同様)。これらに対し、データ粒度を合わせ、欠損を補間して使用したいとします。シンプルに、データ全体から見て情報粒度を最大のもの(年次データ)に合わせ、データ期間を共通部分に合わせるという前処理設計にします。第一ビジネスユニット所属。NTT研究所内でのビッグデータ活用の研究開発に従事し、2012年から顧客企業でのビッグデータ活用、AI技術活用に取組む。NTTテクノクロスでは人にやさしい「みらい」を作るAIファースト活動を拡大中。圧縮・解凍UNIX基本講座@CodeZine『CodeZine(コードジン)』の公式アカウントです。【NEW】デブスト2019デブサミ2019福岡・関西デブサミ2019夏デブスト関西デブサミ2019×ログインEメールパスワード※旧SEメンバーシップ会員の方は、同じ登録情報(Eメール&パスワード)でログインいただけます。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。