4層以上の深層ニューラルネットは、局所最適解や勾配消失などの技術的な問題によって十分学習させられず、性能も芳しくなかった。近年、ヒントンらによる多層ニューラルネットワークの学習の研究や、学習に必要な計算機の能力向上、および、Webの発達による訓練データ調達の容易化によって、十分学習させられるようになった。対象とする諸問題に対し、他の手法を圧倒する高い性能を示し[3]、2010年代に普及した[1]。概要[編集]深層学習の登場以前、2層構造の単純パーセプトロン、3層構造の多層パーセプトロン(階層型ニューラルネット)よりも多くの層を持つ、4層以上の多層ニューラルネットの学習は、局所最適解や勾配消失などの技術的な問題によって、十分に学習させられず、性能も芳しくない冬の時代が長く続いた。2006年にニューラルネットワークの代表的な研究者であるジェフリー・ヒントンらの研究チームが、制限ボルツマンマシンによるオートエンコーダ(自己符号化器)の深層化に成功し、再び注目を集めるようになった。この際、発表した論文から、これまでの多層ニューラルネットよりもさらに深いネットワーク構造を意味する、ディープネットワークの用語が定着した。元々はジェフリー・ヒントンらの開発したディープネットワークは層が直列された単純な構造をしていたが、現在のアルゴリズムは複数の分岐やループのある複雑なグラフ構造を持つ。そのため、基本技術をまとめて複雑なグラフ構造を簡単に実現できるようにしたライブラリも公開されている。1979年に提唱されたネオコグニトロンなど、ニューラルネットワークの多層化の発想自体はコンピュータ黎明期からあり続けたものの、莫大な計算コストが問題となって研究は遅々として進まず、長らく低迷していた[4]。コンピュータのハード性能の急激な進歩、インターネット普及によるデータ収集の容易化、CPUよりも単純な演算の並列処理に優れたGPUの低価格化、また、それらの計算資源の拡張を礎として、画像処理におけるディープラーニングの有用性が競技会で世界的に認知された2012年頃からは急速に研究が活発となり、第三次人工知能ブームが到来したとされている[5]。歴史[編集]この節の加筆が望まれています。人間の脳の構造を模した機械学習における最初の手法であるパーセプトロンが考案されたのは1957年であるが、計算機の性能の大幅な不足や、2層からなる単純パーセプトロンでは排他的論理和の認識ができないなどの欠点があったため、研究が大きく続けられることはなかった[6]。その後、1980年代より、排他的論理和の問題を扱うことができる3層からなる多層パーセプトロンの学習を可能にするバックプロパゲーションが開発されたが、非効率的なメカニズムや、動詞の過去形など複雑な認識ができない(そもそも3層ニューラルネットで任意関数は全て近似可能であり、大脳新皮質がなぜ3層以上存在するのかが不明であった)などの要因により、1990年代後半には沈静化した[7][8]。冬の時代が続いていたニューラルネットワークであるが、2006年にジェフリー・ヒントンによって積層自己符号化器(スタックトオートエンコーダ)など多層にネットワークを積み重ねる手法が提唱され、さらに2012年には物体の認識率を競うILSVRCにおいてジェフリー・ヒントン率いるトロント大学のチームがディープラーニングによって従来の手法(エラー率26%)に比べてエラー率17%と実に10%もの劇的な進歩を遂げたことが機械学習の研究者らに衝撃を与えた。その後もILSVRCでは毎年上位はディープラーニングを使ったチームが占めるようになり、エラー率は2014年時点で5%程度にまで改善した[9]。)によって1979年に発表されたネオコグニトロン[10][11]が挙げられる[12][13]。ネオコグニトロンには自己組織化機能があり、自ら学習することによってパターン認識能力を獲得(概念の形成)していく。応用例として、福島らは手書き文字データベース(ビッグデータ)から自己学習によって手書き文字認識能力(各文字の概念)が獲得されることを実証した。当時は「手書き文字認識方式の一つ」と誤解され、その重要性についての認識が世間に広がらなかった。利用[編集]ディープラーニングは物体認識を中心にさまざまな分野で活用されている。Googleをはじめとした多くのIT企業が研究開発に力を入れている。4.3[15]は、音声認識にディープラーニング技術を活用することで、精度を25から50パーセント向上させた[16]。2012年、スタンフォード大学との共同研究であるグーグル・ブレイン(英語版)は、1,000のサーバーの16,000のコアを使い、3日間で猫の画像に反応するニューラルネットワークを構築したと発表して話題となった[17][18]。この研究では、200ドット四方の1,000万枚の画像を解析させている。人間の脳には遠く及ばないと指摘されている[19]。Text」と呼ばれるシステムを開発した。これは、コンピュータビジョンと自然言語処理を組み合わせ、ユーザーがアップロードした画像を認識し、説明文を表示するもの[20][21][22]である。2015年3月、Schroffらは800万人の2億枚の画像を99.6%の精度で判定した(22層)[23]。2016年1月、AlphaGoと呼ばれるシステムが中国系フランス人のヨーロッパ囲碁王者である樊麾と2015年10月に対局し、5戦全勝の成績を収めていたことが発表された。開発に携わったのは2013年にGoogleが買収したDeepMind。囲碁はチェスよりも盤面が広いために打てる手数の多さは比較にならないほどで人間のプロと互角に打てるようになるまでさらに10年はかかるという予測を覆した点と、囲碁に特化したエキスパートマシンではなく汎用的にも用いることができるシステムを使っている点に注目が集まった[24][25]。2016年から2017年にかけては、いずれも世界トップクラスの棋士である韓国の李世乭と中国の柯潔と対戦し、2016年の李世ドルとの5番勝負では4勝1敗、2017年の柯潔との3番勝負では3連勝を収めた[26][27]。中国では天網に代表されるようにディープラーニングが国民に対する当局の監視強化を目的に急速に普及しており[28][29][30]、世界のディープラーニング用サーバーの4分の3を占めているとされる[31]。米国政府によれば2013年からディープラーニングに関する論文数では中国が米国を超えて世界一となっている[32]。ヒントンらと並んで「ディープラーニングの父」と呼ばれているヨシュア・ベンジオ(英語版)は中国が市民の監視や独裁政治の強化に人工知能を利用していることに警鐘を鳴らした[33][34]。Facebookは、ユーザーがアップロードした画像を、ディープラーニングによって認識させ、何が写っているかの判別精度を向上させている[16]。人工知能研究ラボを2013年に立ち上げ[35]、その成果としてディープラーニング開発環境を2015年1月16日にオープンソースで公開した。これは、GPU環境において、従来のコードの23.5倍の速度を実現しており[36]、ディープラーニングの研究開発の促進が期待されている[37]。ニューラルネットワークによるディープラーニングを使ったニューラル機械翻訳(NMT)が登場したことで、翻訳の品質が大幅に向上した[38]。ネットワークモデル[編集]ネットワークモデルは現在も盛んに研究されており、毎年新しいものが提案されている。全結合していない順伝播型ニューラルネットワークの一種。2次元の畳込みニューラルネットワークは人間の視覚野のニューロンの結合と似たニューラルネットワークであり、人間の認知とよく似た学習が行われることが期待される。結合がスパース(疎)であるため、全結合しているニューラルネットワークに比べて学習が高速である。LeCunらが文字画像の認識に使用し[40][41]、1998年にLeCunらが発表したLeNet-5へと続き、2012年にILSVRCでの物体カテゴリ認識で優勝したアルゴリズムも深層畳み込みニューラルネットワークである[42]。ネオコグニトロンの時から深層であったが、近年は深層であることを強調するため、深層が頭につき、深層畳み込みニューラルネットワークと呼ばれることもある。自然言語処理に対する応用もなされはじめた。スタックトオートエンコーダ[編集]まず3層のオートエンコーダで学習を行い、学習が完了したら次の層(4層目)をオートエンコーダとして学習する。これを必要な分だけ繰り返していき、最後に全層の学習を行う。事前学習とも呼ばれる。類似技術にディープビリーフネットワーク、ディープボルツマンマシンなどがある。network[編集]入力データを出力に変える変換を学習するのではなく、残差を学習する。通常の多層ニューラルネットより勾配消失がおきにくく、はるかに多層化できる。実験的には1000層まで学習されたものもある。欠点としては、入力次元数と出力次元数を変えることができない。敵対的生成ネットワーク」を参照2つのネットワークが相反した目的のもとに学習するネットワークモデル。Discriminatorが損失関数の役目を担う。二乗誤差最小化などでは、ピークが一つしか無いことを仮定しているが、discriminatorはニューラルネットであるのでピークを複数持つ確率分布を近似でき、より一般の確率分布を扱うことができる。統計的な変動をもちいたホップフィールド・ネットワークの一種。制限ボルツマンマシン[編集]同一層間では接続を持たないボルツマンマシン。有向閉路を持つニューラルネットワークのこと。入力データの順序によって出力が変わる場合に有効である。順伝播型ニューラルネットワークでは、近似できるピーク数が中間層の素子数に依存するのに対して、回帰型ニューラルネットワークでは無限の周期性を持つ関数を近似することが可能である。1980年代から研究が始まり、1982年に発表されたホップフィールド・ネットワークが初期の研究。memory)を発表した。特有の問題[編集]勾配消失問題[編集]確率的勾配法は誤差から勾配を計算して中間層の重みを修正するが、シグモイド関数などは見てすぐにわかる通り、勾配が0に近い領域が存在する。その領域に進むと勾配が0に近くなり、重みがほぼ修正されなくなる。多層NNでは一カ所でも勾配が0に近い層が存在すると、それより下の層の勾配も全て0に近くなるため、確率的には層数が増えるほど学習が難しくなる。詳しくはバックプロパゲーション、活性化関数も参照のこと。過学習[編集]トレーニングデータでは高識別率を達成しながら、テストデータでは識別率が低い現象。過剰適合も参照のこと。局所最適解へのトラップ[編集]学習が、大域的な最適解ではなく、局所的には適した解へと収束し、抜け出せなくなること。テクニック[編集]この節は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。(2015年11月)データ拡張[編集]深層学習以外でも広く使われているが、入力データが画像など、どのようなテストデータが来るかあらかじめある程度の想定(モデル化)ができる場合は、たとえば画像の回転や引き延ばしを行うことで入力データ数を増やすことも昔から行われている。活性化関数[編集]古くからニューラルネットワークにおいてはシグモイド関数がよく使われていたが、勾配消失問題などにより、近年では別の関数が使われるようになった。詳しくは活性化関数を参照。1.0に規格化されないため勾配消失問題が起きにくく、またシグモイド関数に比べると単純であるために計算量が小さく学習が速く進む等のメリットがある[43]。maxout[編集]複数の次元の最大値を出力する関数。CNNのプーリングと同じ計算である。高性能と言われるが、性質上、次元が減少する。特徴選択も兼ねていると言える。ドロップアウト[編集]ドロップアウトはランダムに任意のニューロン(次元)を何割か無視してしまう技術である。入力データを増やせずとも、次元を減らすことで解の有意性を上げることができる。ドロップアウトして得た学習結果は、テスト時には同時に使用し、結果は平均して用いる。forestと同様、検出率の低い識別器でも並列化することで信頼度を上げることができるためである。スパースコーディング[編集]Lasso回帰(英語版)とも呼ばれる。辞書行列と係数行列の内積(線形結合)で入力データ(列ベクトル)を近似するとき、係数行列は疎行列(非零の要素が僅かしかない行列)になる。抑えることで、学習が効率的に進むとされていたが、現在では単に内部共変量シフトだけによるものではないと考えられている[44][45][46]。ミニバッチ法[編集]この節の加筆が望まれています。蒸留[編集]この節の加筆が望まれています。(Pre-training)[編集]この節の加筆が望まれています。AdaGrad[編集]この節の加筆が望まれています。Adam[編集]この節の加筆が望まれています。ライブラリ[編集]この節に雑多な内容が羅列されています。事項を箇条書きで列挙しただけの節は、本文として組み入れるか、または整理・除去する必要があります。特化し、GPUのコードが自動的に生成される。TensorFlowのラッパー。Theanoでも動作可能。DNN用プリミティブライブラリ。Java、Scalaが使用されている。C++で書かれているCNN用ライブラリ。C++/CUDA実装のCNN。基本的な機能はEBlearnと同じ。以前はCNTKと呼ばれていた。2層なら単純パーセプトロン。3層なら階層型ニューラルネット。これらと比較して深い層の階層型ニューラルネットを、深層(階層型)ニューラルネットと呼ぶ。9784764904873。2015年5月30日閲覧。2015年5月21日閲覧。2019年12月20日閲覧。2015年6月30日閲覧。2017年8月16日閲覧。2015年9月3日閲覧。2015]画像認識ではすでに人間を凌駕。2015年9月1日閲覧。2015年5月26日閲覧。2015年5月21日閲覧。2015年5月18日閲覧。2015年5月21日閲覧。2015年5月21日閲覧。2015年5月30日閲覧。2015年5月30日閲覧。画像認識ではすでに人間を凌駕。“Googleの囲碁AI『AlphaGo』がプロ棋士に勝利、史上初の快挙。2016年3月2日閲覧。2016年3月2日閲覧。2018年2月7日閲覧。2018年2月7日閲覧。2018年2月7日閲覧。2018年2月7日閲覧。2018年2月7日閲覧。“中国、新疆ウイグル自治区で顔認識システム運用をテスト。2018年2月7日閲覧。2018年2月7日閲覧。2019年4月5日閲覧。2019年4月5日閲覧。2015年5月22日閲覧。2015年5月22日閲覧。2015年5月22日閲覧。2015年3月20日、第1刷。978-4-06-288307-8。2013年7月30日、第1刷。ディープラーニングの先にあるもの』KADOKAWA〈角川EPUB選書〉、2015年3月11日、第1刷。978-4040800202。(日時は個人設定で未設定ならばUTC)。表示-継承ライセンスの下で利用可能です。追加の条件が適用される場合があります。詳細は利用規約を参照してください。Cookieに関する声明モバイルビュ。