言語の情報処理を連関しながら行う脳内メカニズムを深層ニューラルネットワーク(DNN)によるモデルを作業モデルとして解明することを目的とする。具体的には、視覚野と言語野の連関に基づいてヒト脳の内部に生成された高次意味表象をDNNとの対応関係の学習を通じてDNNの中間層の状態として抽出する。個々のモダリティによる中間層の状態を取り出す新たな脳内情報解読手法として、ヒト脳に与える動画像刺激からその内容を示すテキストの生成、及び、音声によってヒト脳に与えられる言語刺激による脳内状態からのその内容を言葉で表現する手法を開発する。これにより、深層ニューラルネットワーク内の中間層に表現された動画を認識する際の状態と動画像刺激によってfMRIによって観測された脳内状態の相関関係を調べ、ヒト脳内における動画像の意味表象とはどのようなものであるかを調査する。同様に、深層ニューラルネットワーク内の中間層に表現された音声刺激による言語理解の状態と音声言語刺激によってfMRIによって観測された脳内状態の相関関係を調べ、ヒト脳内における言語の意味表象とはどのようなものであるかを調査する。動画と音声による言語刺激が同時に与えられた場合の脳内状態の意味表象を調べ、視覚野、言語野での個別の処理と双方が連関した処理との差異を調査することにより、当該領野間の情報処理機構の解明を目指す。