理解する環境知能に向けて人間とのインタラクションを前提とする様々な情報システムは、最終的に人間(ユーザ)への適切な働きかけを持ってその出力とします。私たちの目指す「環境知能」がユーザに自然に受け入れられるためには、人間に対する情報提示や応答などの働きかけを、いかに適切に行なえるかが一つの鍵となります。そのためには、人間側の状況を無視して一方的な働きかけをするのではなく、人間の状況を適切に認識して、その状況に合ったやり方をとる必要があります。環境知能と人間のインタラクション(=相互作用)において、人間の状況を認識することは必須機能の一つと言って良いでしょう。そこで私たちは、人間の状況、特に行動とそこから読み取れる内面の情報を認識することを目標において研究を進めています。このためには、画像、音声、その他、さまざまなメディアの情報を扱い、必要な情報を検出・抽出し、それらの統合的な処理により、目的となる人間の行動や状態を推定・認識していくことが必要です。技術が必要となります。将来どのように使われるのか人間の行動や状態を正しく認識することは、環境知能が人間とコミュニケーションをするにあたって、人間の状況に合わせて適切なタイミングとやり方をとることに役立ちます。後から過去の記録を呼び出すときにも重要な情報となりますし、遠隔地を含むコミュニケーションの適切な支援にも役立つでしょう。人間の行動や状態を正しく認識することは、環境知能が人間とコミュニケーションをするにあたって、人間の状況に合わせて適切なタイミングとやり方をとることに役立ちます。後から過去の記録を呼び出すときにも重要な情報となりますし、遠隔地を含むコミュニケーションの適切な支援にも役立つでしょう。概要コミュニケーションシーン分析の重要な課題の一つとして、複数人対話の場面における対話者間の『共感』と『反感』に焦点をあて、それらを顔表情や視線といった非言語情報から自動的に認識・推定する技術の研究を進めています。共感分析モデル対話者ペアの共感/反感の状態と、各対話者の視線や表情との間の関連性を数理的にモデル化しました(右図)。ここでは人間の感情の曖昧性・不確実性に対処するため、共感/反感の状態を確率分布として表現し、ベイズ推論の枠組みで推定を行う方法を提案しました。コミュニケーションにおいては、他者への感情の伝達と解釈の側面が重要であることから、複数の外部観測者による感情の解釈の分布を分析し、対話者ペアの顔表情の共起関係をモデルに組み入れている点に特色があります(右図のマトリクス)。)を自動的に認識します。複数の外部観察者による表情や共感/反感のラベル付けも行っています。本手法をもとに第三者が共感/反感と解釈する確率を推測した結果の一例(ある瞬間)を右図に示します。二者の間の棒グラフ中のそれぞれの色付きのバーが、共感/反感/どちらでもない確率を表します。このような結果の評価方法として、推定結果の確率分布と、複数の外部観測者の解釈の分布とを照合する方法を考案したことで、曖昧で不確定な感情を定量的に評価・検証することが可能となりました。