寄稿(半導体応用)いよいよ最終章の最後にやってきた。ここでは、今後の動向を中心に紹介する。GoogleやIntelがこれからどの方向に向かうのか、どのようなアルゴリズムが出てくるか、さらには半導体IC化する場合の消費電力はどうなるか、などこれまでのデータを元にこれからの方向を議論する。〜今後の動向と課題〜2016年で特に目立った点は、ビジネス面ではIntelとGoogleのハード側での充実とIoTおよびEdge系への流れである。技術面ではモバイル化搭載を狙った圧縮技術の実用化に向けた動きである。その影響はエッジ系/IoT全般に波及する。本節ではその現状の動向を整理し、最後に課題を述べる。ビジネス図53は最近のGoogle社とIntel社の動きだ。データセンター/サーバでの対応はもとより、IoT/エッジ系への流れが速い。113および114を参考に作成)Googleで目を引くのは、TensorFlowを絡めたGreenWave社(GAP8)へのTPUのIP供給の可能性だ。Thingsの公表(参考資料115、116)も気になる。図54に示すようにエッジ側での実行(分散実行)への移行が予想以上に速く進むかもしれない。背景には、データセンターの容量の逼迫があるのかもしれない。2020年に今の100倍の高速エンジン実現という話も聞くが遅いのかもしれない。高度なアルゴリズムの成功と実用化、ユーザの増加、そしてIoTの成長を考えるに、データセンターのハードの計算能力(速度と規模)向上はもとより、いかに実行を分散しておくかが成長の鍵となる時代が来たのかもしれない。Intelの情報は、同社の発表(参考資料113)を元に、日経情報(参考資料114)も加味した。8月以降の3社(Saffron社/Nervana社/Movidius社)との合併(買収)の動きには驚いた。それぞれの会社がここ2年ほど目立っていたからだ。サーバ系の展開はもとより、エッジ系の強化が見られる。画像が得意なMovidius社、また2017年になって買収を表明したMobilEyeとどのようにタッグを組むのか今後の動向が気になる。アルゴリズムNIPS2016(12月5日バルセロナ)の結果が気になる。6000人が参加したとのことで、盛況だったに違いない。この寄稿が出る頃にはいろいろな記事や情報が出ていると推測する。教師無し学習を中心に、教師有り学習に変わる学習、環境より予測(Prediction)する手法等々、特に自然言語関連が注目である(GNMT含めて既に発表済み?)。言語が簡単に扱えるようになると人間とのインターフェースが言葉に変わり、より身近になるからだ。リアルタイムで個人向けに人工知能を育てたくなる。繰り返しになるがSRAMオンチップで図55に示すように0.1W(以下含め)で1TOPS/Wを越える大規模なディープラーニングの処理が可能になった。現在は画像中心だが、もっと低精度で次元の大きい処理が今後注目されると予想している。図56に示すように画像認識では、精度を落とした実用レベルでは、IoEのチップが実証したように、0.05W級のレベルにある(ただし、IoEは情報が少ない点、解釈には留意が必要)。Netでも同レベルと推測される。TOPS/WのLSIの発表があった。図56に代表的なチップKU-Lueven大学のENVISIONを加えた。1件Imagenetのエラー率5-10%の高精度を狙うVGGNetを扱うLSIの報告があったが処理速度が遅すぎる)。(ISSCC2017ではKAISTがCNN+RNNを発表)。〜実装レベルで高性能化か低消費電力に加えて、プログラム(パラメータが重たい)の総容量が100MByteを割ってくるとモバイルへの搭載が進むと言われている。携帯経由だとiOSでは100MB、アンドロイドだと50MBと言われている(参考資料117、118情報が少し古いが)。プログラムの書換え(パラメータ更新)の頻度と時間もポイントになる。図56に示すように10MBを切ってきているので、ソフトウェアベースだが急激にスマホでの搭載が進むと考える(思った程速度は出ないが)。機械翻訳に各社・各機関が注力しているのはかなり良い線まで来ているからだ。100〜200MB位までは来ている。今後の動向は携帯の5Gの波及動向とも絡む。最後に今後の展開および課題を図57に示すネットワークの領域(規模:入力とパラメータ)(1)〜(4)に分けて概説する。(1)と(2)は実行、(3)と(4)は学習に関するものだ。(3)と(4)はほとんどこの寄稿では詳しく扱わなかった部分である。CNN系に関しては、CNNをベースとするアルゴリズムの進展と展開が少し気になるが、ある一定の方向性(畳込み層の位置づけと圧縮技術)が見えてきた。図8:https://www.semiconportal.com/archive/contribution/applications/160722-neurochip2-1.html)の前処理(前段側)の機能として広く使われるばかりでなく、その主構成となる畳込み層が極めて能力のある「層」であることから多くの新しい周辺(材質認識とか合成・生成とか・・・)技術・応用領域を切り開いてゆくと想定できる。応用別(複合機能化・システム化含め)に、実装技術を圧縮技術およびフレキシビリティを軸にマッピングすることがポイントと考える。(2)実行(DNN/時系列)〜入力次元数が鍵、応用により圧縮・メモリ/デバイスが重要に!(1M〜100Mパラメータ領域):DNN系(非CNN系)に関しては実行・および学習共に技術革新が必要な領域である。アルゴリズムはもとより、LSI実装の観点から材料、デバイス、回路技術、および回路アーキテクチャとがんばりが必要だ。代表的なネットワークは時系列処理のRNNと強化学習だ。実装の観点から、入力の次元数には注意が必要だ。R-CNNを前段に持つ)がRNNの入力となっている点だ。ここでも応用分野と技術のマッピングが必要だ。(3)学習(DNN系/ある程度完璧)〜アルゴリズムが完全に固まっていないのか?!(100M〜1Gパラメータ領域):現在実用化されている学習の多くが教師有り学習だ。教師有り学習では、教科書作りが必要だ。ビッグデータ(自動運転のための道路情報とか)になればなるほど気の遠くなるほどの作業が発生すると聞いている。100万枚の写真を1000クラスに分類するのは実は人間で、人間が「巧み」の技を教科書にまとめ上げる(単なる1000のクラス分けだが)だけでくたくたになる。(余談だがImageNetの人間のエラー率5.1%だって怪しい)。教師無し学習が待望されている。AlexNetが出なければもしかしたら教師無し学習が寄り道せずに進化していたかもしれないとも聞く。LSI実装というよりもっと上位のアルゴリズムの段階の課題である。不勉強で動きがあることは感じているが詳細は掴んでいない。今後動向を知る必要がある課題と考えている。(4)DNN系/学習〜(少しずつ学習)そろそろ動き出しそうな気配がある!((3)の領域より下と思われる):もう一つはある程度のリアルタイム性と個別対応が可能な学習だ。学習当初は間違っていても良いのかもしれない。これも人間の動作に近いことから多くの研究がなされている。知的な側面も感じられ魅力的な分野である。上記の(3)と(4)の学習にさらには第1章1.6節で簡単に述べた環境の学習(Prediction)を含めて3つの学習の体系化(NIPS2016の理解含め)と推進が今後重要になると考える。今回の寄稿にあたり、お声を掛けていただいたセミコンポータルの皆様、また所属していた際に支援を頂いた旧(株)半導体理工学研究センター(STARC:2016年5月末で解散)の皆様には感謝致します。皆様、特に北海道大学の浅井哲也教授の暖かいご指導には心より感謝致します。著者のあとがき当初、第1章を書き始めた2016年の春から夏にかけての段階ではディープラーニングが適用されるアプリケーションに関し紙面をより割く予定でしたが、夏から秋にかけ回路関係のまとめに入った段階で予想以上に圧縮技術の台頭が激しく、一定のレベルでまとめた方が良いと考えました。個人的な環境の変化もあり、当初より時間がかかってしまいました。アプリケーションに関しては、特に(1)と(2)の「実行」ではアプリケーションの探索というより実装のフェーズに入ったと考えます。(3)と(4)の「学習」に関しては、逆にアプリケーションの開拓も並行して今後ますます重要になると考えています。今回は割愛させていただきます(今後何らかの機会があれば紹介したいと思います)。最後に、第1章1.6節の図5を用いて説明致しましたが、人工知能に対し我々が考え期待しているレベルの知能に対して、大体2〜3合目まで来たというのが個人的な印象です。今後は、ディープラーニングに匹敵する大きな谷がもう一つ二つはあるはずで、その達成のためには材料からデバイス技術含めて半導体の寄与すべき点は極めて大きいと考えます。遠く及びませんが(ほんの1合目)、その推進の一助と本寄稿がなれば幸いと考えている次第です。