現実には距離を隔てた人物同士の仮想的シーンを介したコミュニケーション環境実現のためには、現実の空間における人物の像を画像処理により自動的に認識し、仮想的シーン中の3次元人物モデルにおいて実時間で再現する、人物像の認識・生成法の実現が必要である。予備的検討を行ったので、その概要を述べる。人物のふるまいを画像処理により認識する従来の方式のほとんどは、人物が単独で存在する状況のみを扱っていた。これに対して、現実の空間では、人物はシーンや物体とのインタラクションを日常的に行う。従って、人間にとって自然なマンマシンインタフェースシステムや、自動監視システムを実現するためには、このような人物と物体とのインタラクションを自動的に認識する方式の開発が必要である。追跡法、人物と物体が接する場所周辺の濃淡画像解析を統合的に用いる手法を提案し、現在基本的なプログラムを開発中である。従来の3次元顔モデルには、解剖学的な構造を忠実に再現したものはほとんど見られなかった。構造のモデリングは、表情再現のために重要と考えられる。表情筋の動作に伴う、皮膚表面の形状変化の再現も重要である。そこで、CT画像データを用いて前述のような顔の構造をモデリングするとともに、実際の人物の表情変化を実現するための表情筋の動的特性パラメータの決定を実写顔画像から行う方法を提案し、現在環境を整備中である。実際の人物の表情を画像処理により推定し、その結果を通信回線を用いて受信側の3次元顔モデルに送信し、表情を再現する方式では、3次元顔モデルにおいて再現される表情のリアリティに課題が残っていた。そこで、実人物の顔表面のテクスチャを顔画像から実時間で獲得し、これを3次元顔モデルにマッピングする方式を提案した。ここで、皮膚表面の光学的特性は個人毎に異なるので、これを効率的に推定する手法を開発する必要がある。実人物のいる環境の照明条件を、3次元顔モデルにテクスチャをマッピングする際に反映する必要がある。3次元顔モデルの形状変化や位置・姿勢変化にも対応する必要がある。現在、これらの検討を可能とする実験環境の整備を進めるとともに、アルゴリズムの詳細を検討中である。本研究では、以下に示す(1)~(4)の課題についてそれぞれ検討を行った。動作している人物の時々刻々の姿勢を、静止カメラ画像から推定するためには、人体パーツを追跡することが有効である。本研究では、以下に示す(1)~(4)の課題についてそれぞれ検討を行った。動作している人物の時々刻々の姿勢を、静止カメラ画像から推定するためには、人体パーツを追跡することが有効である。ここで、パーツが別のパーツを隠すオクルージョンの対処法の確立が重要である。そこで、人体パーツごとに異なった色に着色された衣服を装着した人物を撮像した動画像中で、パーティクルフィルターを用いて人体パーツを追跡する方法を検討した。追跡対象のパーツにオクルージョンが発生したか否かを、パーティクルの挙動により区別できる見通しが得られた。データから構成されるテンソルをデータベースとして予め構築しておき、テンソル分解を利用して未知人物の行動を認識する方法の検討を進め、我々の方法が関連手法より高い認識率を与える結果が得られた。本手法を利用して、視野が重ならない複数カメラの視野間を移動する人物の対応付けを行うことにより追跡を行う手法を新たに提案し、検討を開始し、有効性の見通しを得た。パンティルトカメラにより獲得される動画像からカメラの動きを推定し、その動画像中にCG画像を正確に配置できるようにする方法を検討した。動画像中に動く物体を含む場合、その動物体に対応する点からカメラの動きを推定しようとすると、推定精度の低下を招くので、動画像中の動く物体から推定されたか否かを検証する方法を提案し、有効性の見通しを得た。移動ロボットに搭載したカメラにより獲得される動画像から、人物の手の動作を認識する方法の検討を進めた。Algorithmに加え、主成分分析を用いる方法により手話動作の認識の性能評価を行い、主成分分析の方が高い認識率を与える結果を得た。胎児鏡を利用する気管の閉塞)に有効と考えられる可撓性のある細い手術具を自律的に胎児の気道にナビゲートし、必要な施術を行う手術法の実現に資するいくつかの医用画像処理技術について検討した。内視鏡カメラが装着された手術具を内臓の内部に挿入しながら撮像される動画像を処理し、内臓の内部を3次元復元する方法を検討した。具体的には以下の通りである。超音波画像中の胎児の頭部に対応する楕円を検出するために、従来の反復的ランダム化ハフ変換を改良した準ランダムな方法を提案し、検討を行った。楕円の一部が遮蔽されている場合でも、従来法より高精度かつ高効率に楕円検出が行えることを実験的に示した。3次元超音波画像中において胎児の顔の特徴点(鼻の頂点、両目の目尻、鼻の柱および上唇)間の幾何学的な関係に基づき、胎児の顔を検出するアルゴリズムを提案し、検討を行った。3次元超音波画像はノイズを多く含むので、3次元画像を構成する2次元のスライス画像ごとに(1)の楕円検出処理を施して胎児の頭部を抽出し、これに基づき顔の輪郭を求め、全てのスライス画像で求まった顔輪郭を統合して顔表面の3次元画像を得る。次に、このようにして得られた3次元顔画像の局所的な曲率と幾何学的な関係を利用して、目、鼻、口等の顔パーツを検出する。胎児ファントムを用いた実験により高い精度で顔の表面と顔パーツが検出できることを示した。(SFM)の原理で3次元復元をするための画像特徴点は豊富に存在すると言える。同じような皺構造の繰り返しが多数見られるため、対応付けが困難であるという課題もある。そこで本研究では、画像の縫い合わせ(stitching)を利用して、動画像におけるフレーム間の対応付けを安定に行う方法を提案した。SFMにより得られる3次元特徴点集合の縫い合わせを用いて密な3次元復元結果が得られるようにする。実験の結果、正確かつ効率的に3次元復元が行えることが確認できた。本研究では、移動するKinectセンサにより獲得されるRGB-D(距離)動画像から抽出されたsuper-voxelに基づき、移動物体の追跡を行うとともに、その移動物体の密な三次元構造を復元する方法を検討する。本研究では、移動するKinectセンサにより獲得されるRGB-D(距離)動画像から抽出されたsuper-voxelに基づき、移動物体の追跡を行うとともに、その移動物体の密な三次元構造を復元する方法を検討する。ビデオ画像から抽出された特徴をベイジアンネットに入力し、人物の無意識な行動を認識する方法を検討する。具体的には以下の通りである。特徴点の分類に用いた手法を提案した。らの手法では、初期クラスタをランダムに特徴点を3点選択していたため、3点が複数の物体にまたがる場合、処理の精度が低下する問題があった。そこで本研究では、以下の処理を提案する。RGBD画像をsuper-voxelに分割し、ランダムな3つの特徴点の選択を1つのsuper-voxelに限定して行い、初期クラスタを作成する。初期クラスタから回転・並進情報を推定する。各特徴点に対して、推定した回転・並進情報を施すことにより得られる点の位置と、その特徴点におけるオプティカルフローの終点との誤差を計算し、super-voxel内の特徴点の誤差の合計をデータ項とする。Super-voxel間のドロネー図を作成し,隣接するsuper-voxelを結ぶエッジの本数を平滑化項として利用する。グラフカットを行い,ラベルを統合する。ラベルの統合の結果によるデータ項・平滑化項のエネルギーの増加よりも、ラベル数の減少によるラベル数の項のエネルギーの減少が大きい場合は統合処理が進む。その結果、ラベルの数が未知の場合でも、適切なラベルの数を自動的に選択することが可能である。実験を行い、本提案手法の有効性を示す結果を得た。店舗内の顧客の購買行動、特に、迷って/迷わずに、購入したのか/購入しなかったのか、を認識可能な手法を検討した。このような購買行動には定型パターンは乏しいので、ベイジアンネットワークを用いて認識を行う方法を従来から検討している。従来の検討では、ベイジアンネットワークの各ノードの21個の画像特徴量は、手動で取得していた。良好な認識結果を得ていたものの、手動特徴抽出は実用的とは言えない。そこで、本期間は、画像特徴量を自動的に得る方法を検討した。Model(DPM)等を利用して、人物が様々な姿勢をとっても追跡が可能な手法を提案し、前述の21個の特徴のうち10個が自動的に計算可能となった。認識実験の結果、若干まだ認識性能が手動特徴の場合より劣るが、有効性の見通しを得たと言える。動的RGBD動画像から、移動物体を検出する方法を検討した.3次元特徴点抽出法とSuperVoxel法による領域分割法とを組み合わせ、移動物体と背景に対応する領域を得る方法を提案した。実験の結果,本提案法の有効性の見通しを得た。研究では、カメラにより手術野を撮像して得られる画像から、手術者の手の動作を解析することにより、縫合手術における「縫合」と「結紮」を認識する方法を提案した。新たな画像特徴と認識法の組み合わせを提案した。手術動作の完了前に、その動作を確率的に予測する方法を提案した。これらの手法の有効性を実験的に検証した。研究成果概要:ギター演奏者の左手の動きをカメラで撮像することにより獲得される動画像を解析し、運指の良否を自動的に判定する方法の検討を行った。ギター演奏中の手と指の動画像の訓練データを収集する。各指の関節の位置の時系列データに対するDCT(離散コ...ギター演奏者の左手の動きをカメラで撮像することにより獲得される動画像を解析し、運指の良否を自動的に判定する方法の検討を行った。ギター演奏中の手と指の動画像の訓練データを収集する。各指の関節の位置の時系列データに対するDCT(離散コサイン変換)特徴を求める。それぞれの訓練データにおける指の動きの良さについてのスコアを、ギターの教師が与える。regression)を行い、回帰式を得る。未知データのDCT特徴をこの回帰式に代入し、スコアが正確に求まるかどうかを実験的に検討し、有効な結果を得た。手術における看護師不足への対策として看護師ロボットの実現が望まれている。手術における看護師不足への対策として看護師ロボットの実現が望まれている。本研究では手術者を支援する看護師ロボットの実現を目指し、人間の看護師と同様に、手術野の動画像を分析し、自動的に手術の進行や状況を把握する方法の研究を行っている。提案した傷の縫合手術における動作認識手法の認識対象を二つの動作から五つの動作に拡張した[1]。認識手法の動作が終了する前に予測が可能な方法を提案し、検討した。ベイズ推定等に基づき、動作の予測を行う[2~4]。本提案手法の有効性を実験により検証した。前述の予測法において用いる3D-SIFTに基づく特徴量の計算時間について、まだ改善する必要がある。手術における看護師不足への対策として看護師ロボットの実現が望まれている。我々は手術者を支援する看護師ロボットの実現を目指し、手術野の動画像を分析し、人間の看護師と同様に、自動的に手術の進行や状況を把握する方法の研究を行っている。手術における看護師不足への対策として看護師ロボットの実現が望まれている。我々は手術者を支援する看護師ロボットの実現を目指し、手術野の動画像を分析し、人間の看護師と同様に、自動的に手術の進行や状況を把握する方法の研究を行っている。我々は、傷の縫合手術を構成する6つの段階のうち2つの段階(手術者の手の動きに対応)を早期認識(early-recognition)する手法を提案し、有効性の見通しを得ている。本期間は、早期認識の対象を、傷の縫合手術における6つの動作に拡張する検討を行った。我々が既に開発した2つの段階の早期認識法を単純に適用する場合と、6つの動作(段階)の順序関係を利用する場合とを比較検討した。その結果、6つ段階のうちいくつかは順序関係を利用することが有効であるという実験結果が得られた。研究成果概要:近年、スポーツのスキルの上達を目指して、運動者をカメラで撮像し、画像処理と機械学習を用いて人間の運動動作を評価するシステムが注目を集めている。本研究では、少数箇所の改善を段階的に行って動作改善を目指す方法を検討する。教師なし...近年、スポーツのスキルの上達を目指して、運動者をカメラで撮像し、画像処理と機械学習を用いて人間の運動動作を評価するシステムが注目を集めている。本研究では、少数箇所の改善を段階的に行って動作改善を目指す方法を検討する。教師なし学習を用いて、類似する運動動作を検出するための特徴量を得る方法を検討する。教師無し学習に用いる。次に、得られた生成モデルの情報に対してクラスタ分析を行い、得られるクラスタの特徴を、学習済みモデルにおける入力寄与度を用いて分析する。本研究では短距離走における疾走動作を検討対象として実験を行い、検出されたクラスタにおける疾走動作の傾向が得られる見通しを得た。研究成果概要:近年の医者不足のため、胎児検診の自動化が望まれている。ロボット制御技術を組み合わせることにより胎児検診の自動化を目指す。ロボットアームの先端に取り付けられた超音波プローブを、妊婦の腹部表面を走査する...近年の医者不足のため、胎児検診の自動化が望まれている。ロボット制御技術を組み合わせることにより胎児検診の自動化を目指す。ロボットアームの先端に取り付けられた超音波プローブを、妊婦の腹部表面を走査することにより獲得される超音波画像群から、胎児の頭部等を抽出し、頭囲等を計測するアルゴリズムを明らかにするための検討を行う。本研究では、深層学習を用いて、妊婦の子宮を抽出し、胎児と羊水の範囲を判断する方法を提案し、有効な実験結果を得た。工夫2000年04月-概要:宿題を与えるなどして、実際に各学生に頭と手を働かせることにより理解を深めさせた。概要:講義の内容に対応する講義ノートをホームページにuploadし、学生に適宜ダウンロードさせている。