ない重要な特徴もあります。性能をさらに向上させる有望なヒントが含まれているのではないかと思います。類似点と相違点を簡単にまとめてみました。重要なのではないかと思います。「深いネットワーク」の構造が見られる。図などを見ながらおおざっぱにまとめると以下のようなかんじ。3野→1野→2野→5野→SII→7b(?)・運動野M1→SMA・PM→DLPFC・なお、ヒトの言語野については階層性はない。これらはそれぞれ全く異なる機能を受け持ち、どれが上位でどれが下位というわけではない。・上の層のニューロンほどより多くの感覚器からの情報を統合した応答をする。(上の層ほど広い「受容野」を持つ。)・上の層のニューロンほど応答する刺激はより複雑になる。視覚であれば、一番下の層では線分の傾き、1つ上の層では単純な形、もっと上の層では特定の複雑な形に対してニューロンが応答する。・上の層のニューロンほどより抽象的な情報を表現する。ノイズ、小さな変形、物体の向き、照明条件などの不要な情報は上の層に行くほど捨てられる。下の層のいくつかのニューロンの中から最大の値を持つものを受け取るという処理をすることで刺激の変形に対する不変性を実現している。・教師なし学習を行う。大脳皮質は教師なし学習を行っていると考えられている。おいて教師なし学習を行う。・下の層から回路が完成する。下の層から順に教師なし学習でネットワークを初期化することで、局所解・過適合を防ぐ。大脳皮質においては、髄鞘化とよばれる神経線維の変化が低次の領野から前頭葉に向かって進み、すべての部位で髄鞘化が完成するのは10歳前後とのこと。・双方向の結合がある。大脳皮質において上下関係にある領野どうしは、必ず双方向の結合を持っている。下から上へは感覚器から入った情報が流れる。上から下へは文脈や過去の経験からの予測の情報が流れるのではないかと言われている。認識結果から出力を再構成する能力を持っており、これは大脳皮質が持つ予測能力と似ている。・学習器が大規模になるほど入力データの前処理が単純。生データからの学習で置き換えることで性能を向上させた。生物の進化でも似たことが起きている。黒い影が迫ってくるような状況も検出できる。)ウサギなどの網膜はそこまで高度ではないが方位選択性は持っている。視覚の発達したネコ・サル・ヒトなどの網膜は、方位選択性を持ってない。このように脳の視覚情報処理能力が高いほど、網膜の処理は単純になる傾向がある。運動についても、サルやヒトの複雑で精緻な手の動きには、おそらく脊髄や脳幹よりも大脳皮質の関与が大きいだろう。1つモラベックのパラドックスに対する反論になっている。モラベックは、感覚と運動の機構は長い進化の末に非常に複雑なものになったと予想したのかもしれない。実際には逆で、進化の結果むしろ単純化したのである。今やデータからの学習により実現可能になり、もはや不可能論の根拠ではなくなったのである。・上の層ほど発火がスパース。上の層ほどニューロンの数が少なくなっている。ところが脳の場合、上の領野ほどニューロン数が少ないわけではなく、むしろ少し多くなる傾向があるように見える。その代わり、脳では上の領野ほどニューロンの発火はスパースになる傾向がある。脳においても上の層に行くにつれノイズや不要な情報が捨てられるはずだが、それを上回る比率で過完備基底によるスパース表現に変換されるのだと思う。生成モデルの近似能力が増すのではないだろうか。・脳は実はそれほど深くない。多めに数えても10層以内。ヒトはサルよりもニューロンの数が10倍多いが、それでも領野の階層の深さはあまり変わらない。その代わりに、各領野の面積が広くなっている。おいても層の深さをやみくもに深くしても意味がなく、それよりも幅を広くする方が性能向上に貢献するかもしれない。爆発、過適合、など様々な問題が出てくるので、これらに対処する必要がある。発火のスパース性、結合のスパース性など、様々な正則化の工夫を駆使する必要があるだろう。・脳では、領野ごとに個性がある。各領野が表現する情報は、非常に個性が強い。大脳皮質は領野によらず似た解剖学的構造を持つことから、どの領野も同じアルゴリズムで動作すると推測される。関わらず領野ごとの個性の違いが出る要因としては以下の2つが考えられる。領野ごとに他の領野や感覚入力との接続関係が異なる。領野ごとにハイパパラメタの値が異なる。統合する入力の種類の違いは、領野の個性を大きく変えるだろう。視覚野の背側経路のMIPとLIPという領野の例を説明する。MIPには網膜座標を使って視覚刺激の位置を表現するニューロンが存在する。その上位にあるLIPでは視線の向きによらない頭部座標で位置を表現するニューロンが存在する。この違いは、現在の視線の向きを知るための眼球の筋肉からの感覚情報がMIPには入力しておらずLIPには入力しているから生じるのではないかと私は想像している。進化によって獲得された、外界にたいする事前知識である。よい事前知識が作り込まれていれば、そうでないよりも性能が上がる。おいても、学習されるべき情報に関する事前知識を積極的に作りこむべきである。認識精度向上に役立つかもしれない。脳は時間的・空間的な文脈の情報を用いて認識精度を上げている。文章全体から内容が属する分野を推測して個々の単語の認識精度向上に利用したりする。処理だけで行うシステムにはこの機能はない。・動的計画法を使った高速な認識。いくつかの研究は、大脳皮質が確率伝播法のような認識アルゴリズムを用いていることを示唆している。確率伝播法は動的計画法を原理としており、ネットワークの形がある条件を満たしていれば非常に高速に厳密解を計算できるアルゴリズムである。動的計画法は、勾配法やMCMCより速くよい解に収束する可能性がある。視線移動による逐次的な情報の蓄積にもとづいて物体認識を行っていると思われる。周りとは違った特徴を持った情報量の多い場所らしい。5)脳はこれとかなり似たことを動的にやっていることになる。よる一般物体認識ではこのようなことはまだやられていないと思う。認識性能が上がるか計算量を減らせる可能性があるだろう。・局所的な平行移動以外に対する不変性。たたみ込みニューラルネットワークでは、部分サンプリング層によって特徴の局所的な平行移動に対する不変性の機能を直接作り込んでいる。局所的な平行移動に対する不変性はかえって識別精度を落とすのではないか?逆に、眼鏡の有無やひげの濃さなどは個人識別の際に無視する必要があるが、これらに対する不変性はたたみ込みニューラルネットワークには作り込まれていない。学習によって柔軟に不変性を獲得する機構を持っているのではないだろうか。脳では1〜2層飛び越えた結合もけっこうある。その機能的意味は不明。領野の損傷に備えた耐故障性のための機構なのかもしれない。層を飛び越えた結合があれば、ある領野が損傷してもそれなりに動作を続けられる。(微小脳梗塞は発生頻度が高いが自覚症状が軽いことが多い。位置不変性の非常に強い認識の機構を実現しているのかもしれない。上の層ほどIII層は薄くII・IV層は厚い傾向がある(?)。見るとそのように見える(?)。モデルを前提に意味を解釈してみる。III層は複数の親ノードと子ノードからの情報を統合する場所である。たたみ込みニューラルネットとの対応で言うと、IV層は部分サンプリング層に、III層はたたみ込み層に近い。下の層はその逆、という解釈になる。複数の特徴の統合は上の層においてより重要、ということになる。完全に大脳皮質の機能をまねられるようになっても、それだけでただちに人間のような知能ができるわけではない。脳全体のモデルを構築する必要がある。詳しくは下記ページを参照されたい。全脳アーキテクチャ解明に向けてコメント、質問などお待ちしております。