Science2019.3.8ツイートTopicsはじめに機械学習の受託案件を通じて得た5つの知見まとめこんにちは。データサイエンスチームのtmtkです。この記事では、機械学習の受託案件に関する5つの知見をお伝えします。ラス株式会社は、ITインフラの会社です。データセンターでのホスティングサービスであるマネージドホスティングサービスやAWSのリセールサービスなどを取り扱っています。当データサイエンスチームでは、ビッグデータ活用サービスとしてデータ分析の受託業務を行っています。この記事では、このサービスで受託した案件の経験から得た機械学習の受託案件に関する知見をお伝えします。Sparkは分散コンピューティング用のソフトウェアです。これを使うと複数のサーバからなるコンピューティングクラスタにデータ処理を高速に実行させることができます。Spark上でプログラムを開発することができます。Sparkによるソフトウェア開発の需要はかなり高まっていますが、それに対応できる開発者は十分育っていないようです。Sparkによるデータ処理プログラムを実装したいが、実際に実装できるエンジニアが足りないという声をよく聞きます。機械学習や統計学などの技術的な知識に明るく、かつビジネスもわかる人材が非常に重要です。AI開発のご相談をいただいたとき、それが原理的に難しいご相談であることがあります。訓練データなしに予測ができるAIが作りたい、といったご要望です。そのようなご要望をいただいたとき、技術的に可能なことと不可能なことを専門家でなくてもわかるように説明できる人が必要です。実現不可能な夢を技術によって解決可能かつビジネス的に意味のある問題に変換できる人がいないと、プロジェクトを先に進めることができないということが往々にして起こります。3.統計モデリングも活用できるディープラーニングの隆盛にかくれてあまり目立っていない気もしますが、統計モデリングも重要かと思います。BtoCの小売業のような業界から販促イベントを打ったときの売り上げ増加量の予測を行いたいというご相談がありましたが、これは状態空間モデルによる統計モデリングで解決できる可能性が高いです。他社事例にはなりますが、このスライドではマッチングサービスの「タップル誕生」のKPIが統計モデリングで分析されています。これらの分析手法はディープラーニングとちがって説明力・説得力が高いため、企業の意思決定にすぐにでも活用することができるでしょう。ディープラーニングの流行が落ち着いた後に注目されるかもしれません。機械学習のご相談をいただき、めでたく実証実験段階に進んでも、データが足りずに思うような性能の機械学習モデルを作れない場合があります。正確にいえば、ほとんどの場合でデータが足りないという結論に至る実感があります。そのため、思うように性能が出ないときに、データのサンプルサイズ(行数)が足りないために性能が出ないのか?データの変数(列数)が足りないために性能が出ないのか?モデルの選択が悪いために性能が出ないのか?などの考察をして、知識と経験によって考えながら、次のアクションを決定する能力が必要になります。データを増やすという決定をする場合、精度などの性能に関する要件やデータ収集にかかるコストを考慮しつつ、どのようにデータを増やすべきか決定する必要もあるでしょう。5.ディープラーニングが遅い問題への早めの対処ディープラーニングの訓練や推論に時間がかかることは有名です。処理時間が長いという問題を解決するために、GPUやTPUの活用などのさまざまな工夫がとられています。ディープラーニングによってAIを作成した場合、AIを実用化するためのコンピューティング環境が問題になります。普通のCPUサーバにデプロイしてしまうと画像1枚の推論に1秒程度かかりますし、GPUサーバを用意すると最低でも1時間あたり1ドル程度はかかります(AWSの場合)。なって、1ヶ月に約7万円かかる計算になります。これでは手軽に導入できません。Inferenceがリリースされるなど状況は改善しつつありますが、ディープラーニングによるAIを実用化したい場合はコンピューティング環境を早めに検討しておく必要があります。得た知見をお伝えしました。Spark#機械学習#統計tmtkデータ分析と機械学習とソフトウェア開発をしています。アルゴリズムとデータ構造が好きです。