Bodies顔の表情やハンドジェスチャの細部な動きと体の大規模な動きを同時にマーカレスで複数人キャプチャできる3Dモデル手法を提案する研究。VGAカメラ480台、HDカメラ31台、Kinectセンサー10台が整備されたドーム型ボディスキャナシステムを用いて、胴体や腕の大きなモーションを同時にキャプチャ、細かな全身運動を再現する。通路が連続するVR空間の平面図を分割し、物理世界の平面図に折り曲げて歪んだマップを生成する。Angles解像度を低下させることなく2つのホログラムを1つの表面上に再現する角度多重ホログラムの提案をする研究。1枚の表面上に複数のホログラムを再構築する。インタラクション要素が高い領域は通常移動で、関連性のない領域は高速移動にする。capability実オブジェクトの後ろにバーチャルオブジェクトを隠し配置できる相互遮蔽可能な光学シースルーHMDを提案する研究。偏光ビームスプリッター(PBS)、空間光変調器(SLM)などが用いられ、ピクセルごとの相互遮蔽をレンダリングする。画像:デジタルティーポットが物理物体の黒のスプレー缶の後ろに、物理物体のスクイズボトルと白いスプレー缶の前に鎮座する。interacting最大1000fpsで動作する深度カメラベースのハンドトラッキングを提案する研究。手や指が互いに重なっても、途切れることなく追跡する。「腕が伸びる感覚」をVR体感できるシステムを提案する研究。HMDを装着した体験者と協力者とが対面となり、一対一でポールを引っ張り合う過程で表現する。VR内では、自分の腕が表示され、「(現実世界の)腕を引っ張られる強さ」に応じて、「(イメージの世界の)腕の⻑さ」を滑らかに伸ばし、あたかも腕が伸びる感覚を再現。Displays視線先だけを高画質に描画する「中心窩レンダリング」とフォーカス調整ができる「4Dライトフィールド・ディスプレイ」を統合させた提案をする研究。ユーザーが見ている箇所と奥行きを一致させる試み。画像:左図:視線は右でフォーカスは奥。右図:視線は右でフォーカスは手前。Realismデフォーカスと色収差を考慮に入れ自然観察で生じるものに近い網膜画像を生成する色補正レンダリング方式「ChromaBlur」を提案する研究。従来のレンダリングよりも自然な奥行きの印象を与えることができ、また、焦点調節可能なレンズと視線トラッキングを組み合わせることで、輻輳と焦点距離の不整合問題を最小限に抑えることができる。動画AffectiveHMD:組み込み型センサを用いた表情認識とバーチャルアバターへの表情マッピングVRヘッドセット装着者の表情の種類と強さを機械学習で推定し、アバターに反映させる技術「AffectiveHMD」を発表する研究。HMDに組み込んだ反射型光センサ群は、発光部から赤外光を照射し反射光を受光することで、顔表面との距離を計測する。自然、喜び、怒り、驚き、悲しみの5種類が対象。Device広視野角の光学シースルーHMDを実現するための手法「AME」を提案する研究。Device、透過型ミラーデバイス)を使用して目の前にバーチャルレンズを提示することで実像をレンダリングし、VRヘッドセットを着用せずとも同等の体験を光学シースルーHMDベースで適応可能にする。Actuation同時に体験する2人ペアのVRユーザーに対し、別々のシチュエーションでありながら相互に関連する行動を紐付けて実行する研究。画像:一方が魚釣りで竿の反発力を再現し、一方が凧揚げの引きを再現する。一方は出現する柱を踏んで前進するのに対して、一方がパズルを解くためにボックスを再配置する。ManufacturingVRからロボットを遠隔操作するシステムの研究。それらを見ながら腕と手を操作する。Hands」を提案する研究。全身のモーションキャプチャにおいて、手の指などの細かい箇所のノイズを、より精密に表現したのが本手法。Observationユーザーの顔の表情を読み取りエージェントと非言語対話を可能にする機械学習モデル「Learn2Smile」を提案する研究。自然言語認識や音声認識で取得する際に、人間の表情も読み取り判断に役立てるというシステム。Video360°の映像をカメラの高速回転でライブストリーミングするVRカメラシステム「SpinVR」を提案する研究。2つの魚眼レンズを搭載したカメラアレイを水平方向に高速回転させ、全方向性ステレオ(ODS)形式でネイティブにキャプチャ。Modulator光学シースルーHMD(OST-HMD)において、実世界に重なって表示される半透明なバーチャルオブジェクトを実物のようにくっきり写す不透明描写方法を提案する研究。バーチャルオブジェクトに応じて計算された遮蔽マスクをLCDに表示し、仮想物体に重なる背景の光を遮ることで、遮蔽を実現。RealityVRヘッドセット装着者の顔の表情や眼の動きを捉えリアルタイムに再構築する技術「FaceVR」を提案する研究。正面からRGB-Dセンサーで顔全体をキャプチャし、HMD内部のIRセンサーで眼球をトラッキング。リアルタイムに顔を制御し再レンダリングする。learningを用いて推定する手法「Eyemotion」を提案する研究。推定した顔の表情を動的アバターへリアルタイムに反映。Bench」を提案する研究。自身が映る目の前の巨大画面を見ながら、3DCGによるキャラクターと戯れたり、エフェクトを共有したりが可能。ベンチ自体には、ハプティックアクチュエーターを含んでいるだけでなく、参加者の位置と数を知る役割を果たす。Camera視野138°の情報を取得し、4次元画像を生成する単眼式ライトフィールド・パノラマカメラを提案する研究。マイクロレンズアレイを使用して、単焦点レンズと複数のセンサーを結合し、広視野角でライトフィールドを取り込めるコンパクトな光学設計。EnvironmentHoloLensなどのARヘッドセットを使用してバイタルサインのリアルタイムな可視化を可能にする生理学的測定ツール「Cardiolens」を提案する研究。前方にいる被験者の顔から反射した周囲光を捕らえ、その光を分析し血液量パルスとバイタルサインを計算する。ExperienceVRプレイヤーの体験を他者(オブザーバー)と共有するシステム「ReverseCAVE」を提案する研究。立方体に配置する4つの半透明スクリーンとプロジェクター複数台で構成され、スクリーンにはVR空間上のオブジェクトが投影され、オブザーバーは立方体内でプレイするユーザー含め目視できる。オブザーバー自身も追跡するため、移動により見る角度が変わっても位置関係を保つ。Rendering<サッカード眼球運動中のレンダリングで画像を更新する手法を提案する研究。カードが終了する可能性が高い場所を予測し、予測が利用可能になるとすぐに新しい固定場所の画像を提供するというアプローチ。次見る場所を予測し、固定が確立される前に新しい固定の正しい画像を提供する。Display」を提案する研究。)を電気的に制御することにより光を変化させ、画像の選択された部分の焦点を変更するために曲げる。Displays光学シースルーHMD越しに見ることで、ボールが跳ねる物理オブジェクトの未来動作を予測し先に表示してくれる未来予知システムの研究。将来の軌道を予測し、リアルタイムに視覚化。Fluids」を提案する研究。乱流の煙から粘性のある液体まで多種多様な流体動作を構築し、トレーニングデータにない連続的な変化に対しても、もっともらしい動きを合成する。RealityARシーンの意図を考慮して仮想キャラクタを適切に配置するCNNを用いた手法を提案する研究。R-CNNで物体検出し、オブジェクトを検出。シーンの意味および対話の目的に従ってバーチャルキャラクタを配置する。Model複数台のRGBカメラだけから人のモーションキャプチャをリアルタイムに行う技術「VMocap」を提案する研究。Learning処理して画像から関節の存在確率を推定、これらを参考にして、多自由度の人間骨格モデルを動かすことで、運動の3次元再構成を行う。Reserved.ページ上部へ戻る。