互作用を説明できれば、機械はその世界を「理解した」と言えるであろう。素性(センサーデータの関数。抽象化を、いかに自動的に行うかである。ここでいうアーキテクチャの深さとは、非線形な関数のレベルの数である。2もしくは3)である。哺乳類の脳は、深いアーキテクチャで、入力が複数の抽象化のレベルで表現される。2006年までは成功しなかった。(DBN)を提案した。フィルタリング等でよい結果を示した。脳の各レベルでの抽象化は、たくさんの数の素性の小さい集合の活性化で起こる。その素性は互いに排他的でなく、素性は分散的な表現となる。どれかひとつのニューロンに情報が局在化するのではない。脳はsparseな表現を使う。同時に1-4%のニューロンしか活性化しない。したがって、疎な表現というのが大事そうだ。浅すぎる階層では表現できない関数もある。すると、指数的な数の要素が必要になることもある。Functionは、2階層で表現できる。ローカルなestimatorは、入力空間上で、入力xに近い訓練データをさがす。ローカルなestimatorは、入力空間を領域に分割する。違う表現をすると、学習したい関数の”variations”の数が問題である。ローカルな方法の限界をすぐに越えてしまう。越えることはできない。普通のニューラルネットワーク。