Reality)に関する論文を厳選し、日本語要約と共に時系列順に随時更新、一覧にしている場所です。本ページのようにアーカイブベースではなく、速報ベースで取得したい方は、月1回の配信で最新論文を紹介するWebコンテンツもあります。最初に、索引として「A~Z」順に並べています。索引を飛ばす場合はこちら。ARARでドローンを操作できる「PinpointFly」の研究。モバイル端末で移動先へドラッグするのみ、高さは横のスライドバーで調整。左右高さ奥行きの3次元で位置決め。初心者も精密に操作できる。移動先までの飛行経路もなぞって指定可能。マーカー設置できれば野外でも使用可能。Wildカメラ映像のみから複数人の動きを全身モーションキャプチャする研究。特殊装置やマーカー付スーツなし、服装も問わず広空間の多人数全身運動を同時にキャプチャ。激しい動き、人同士の重なり問題なし。ロボティクスで力筋も計算。カメラのみでスポーツやライブに活用。感覚を体験できる高次元データと数学オブジェクトの探索を提案する研究。Realityインタフェースにおいて、目の前に表示されるアプリケーションも表示するタイミングと場所、および表示する情報量を自動的に制御する研究。Displaysヘッドマウントディスプレイ(HMD)の背面に統合されたデバイスで、物理的なコントローラーを使用したインタラクションを可能にする研究。物理的なコントローラーには、ボタンやジョイスティック、回転するボタンなどが搭載する。Vision低視力者向けにAR階段ナビゲーションを提案する研究。投影する方式と光学シースルーHMDを用いた方式で提示する。上り下りする階段のエッジ部分を光らせたり、ユーザーの階段上での位置確認のための表示など。ContextARコンテンツおよび物理コンテンツとのインタラクションを提案する研究。デモ動画では、都市計画をコンテキストに、3Dプリンタで印刷した建物の一部をベースに、モバイルARインタフェースで拡張する様子を確認できる。Realityスマートフォンの裏にハンドトラッカーを取付けARコンテンツを掴めるようにしたシステムを提案する研究。スマートフォンを移動させながらモニターを越えAR物体を掴める。AR物体に遠い距離、近いが手に届かない距離、手に届く距離、触れた状態、掴んだ状態を視覚、聴覚、触覚で区別し提示するUX。HMD内の顔の表情をトラッキングし、同じ動きをアバターで駆動させる手法を提案する研究。口の動き、視線の追跡、まばたきの動きをリアルタイム検出。Arms顔の表情からロボットアームを制御するシステムを提案する研究。SmartHomesMR(複合現実)を活用してIoTの操作をビジュアルプログラミングできるシステム「ReallifeEngine」を提案する研究。動画では、人感センサーと電気スタンドのオンに繋ぎ、オフを物理スイッチに繋いでいる。その間に5秒待つという指示や、圧力センサーの値が3を上回るとオンになる指示を組み込んだり。Headsetsスマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身(手や口、衣服含む)をモーションキャプチャする手法を提案する研究。使用者の3D身体ポーズ、手や指のポーズ、顔の表情(口の状態を検出)、身体的外観(肌と衣服の検出)、および周囲環境のリアルタイム推定をする。Reality現実の町とバーチャルの町をリンクさせてVR内で物理歩行できるナビゲーションシステムを提案する研究。ユーザが実際に歩いている現実世界の屋外スペースを介してVR体験でナビゲートできるシステム。現実空間を見なくても目的地に着けるということ。Camera重なり合いながら動く両手を1台の深度カメラのみから正確かつリアルタイムに再構築するマーカーレスの手法を提案する研究。両手による衝突も推定。TranslationVRデバイス装着者の顔の表情をリアルタイムにアバターへ反映させるシステムを提案する研究。HMD内側に装備した9個のカメラで事前訓練をし、使用時は3個のカメラでキャプチャする。Images1枚の静止画像に対して、バーチャルオブジェクト(ボール)の衝突及び跳ね返りから相互作用する動画を生成する機械学習アプローチを提案する研究。Modeling緻密な髪の3Dモデルを直感的に作成できるVRベースのヘアモデリングツールを提案する研究。頭部モデルを参考に髪型をストロークしていくだけで、緻密で高品質なヘアモデルを作成できる。」(SRの拡張版)を提案する研究。ユーザの視線追跡に基づいて、同じ空間におけるライブシーンと記録シーンとを自動差し替えする。SurfacesVR内に描いた3Dペイントを3Dモデルに変換するサーフェスモデリングツール「SurfaceBrush」を提案する研究。描画されたストロークのポリラインに沿ってエッジ間の接続性を決定し、入力ブラシストロークから目的のサーフェスを再構築。RenderingVRにおいて、視線先だけを高解像度に、その周囲を低解像度する中心窩レンダリングを画像内のオブジェクトも考慮して最適化する手法を提案する研究。画像内の重要なオブジェクトは視線外でも低解像度にならないといった具合。Phones広角カメラによる写真の両サイドに写る顔の歪みを補正するアルゴリズムを提案する研究。120°までの画像における両サイドの顔を他の部分に影響を与えずに局所的に補正する。VRVR環境を離れることなくライブコーディングできるフレームワークを提案する研究。HMDを取り外すことなく、デバッグや既存のレンダリングロジックの調整などができる。実行時にシーンオブジェクトとVR内モニタともドラック&ドロップでやり取りすることも可能。Noodles」を提案する研究。食品の外観(色やテクスチャ)をリアルタイムに変換することで、視覚的に味覚をコントロールするアプローチ。Experiences各ユーザの動きを学習し、それぞれに適したVRワークスペースを生成する手法を提案する研究。キッチンテーブルの高さや食器棚の高さなどがパーソナライズされる。NavigationVRユーザが現シーンでナビゲーションによる支援を必要としているかを視線追跡から予測する研究。視線から適切な時にナビゲーションを表示/非表示することは、ユーザーの満足度を向上させる。Imagery360°パノラマ画像の各オブジェクト位置(深度推定)に適した音源を割り当てる空間オーディオ・アルゴリズムを提案する研究。画像内のシーンとオブジェクトを識別し、各オブジェクトの奥行きを推定、現実的なオーディオソースを希望の位置に配置することで臨場感を高めるアプローチ。DisplayHoloLensとSLAMを組み合わせて、リアルタイムに3D音場を計測し可視化するシステムを提案する研究。マイクロホンアレイを可視化したい場所に配置し計測する。Mobileスマートフォンを用いて、より自然かつリアルタイムにメイキャップできるAR技術を提案する研究。ライブビデオストリーム上で行われ、フェイストラッキングから唇、目、頬などの顔領域を定義し、メイキャップアクセサリをレンダリング、元画像とブレンド。learningモデル「paGAN」を提案する研究。HMD装着者の表情を外部から取得できるIRパスフィルタを用いたHMDを提案する研究。HMD装着者の顔を外部カメラから透過して見ることを可能とするHMD。レンズを駆動して所望の範囲の焦点距離を周期的に掃引し、焦点距離を高速かつリアルタイムに追跡することにより、多数の焦点面を表示する。半球ドーム装置を用いて映像投影でVR体験を提供するシステム「CompoundDome」を提案する研究。システムに肌が触れないため、髪の毛や化粧が崩れる心配、他人が密着で装着した機材を装着する心配もない。加えて、広視野体験(本システムの視野角は、約160°)、VR酔いの軽減にも繋がる。VolumesリアルウォーキングVR体験において、VRシーンを小さく分割することで物理空間に依存しない設計が可能なツール「Scenograph」を提案する研究。物語の構造を維持しながら、VRシーンを分割し、所与のサイズおよび形状の実際の追跡エリアに体験を適応する。25平方メートルのVRシーンをL字型の8平方メートルの6つのシーンに分割など。Displays重ねた2枚のレンズをスライドさせて焦点距離を変える視線追跡と組み合わせた可変焦点HMDを提案する研究。FOVを大きく保ったまま可変焦点できる。モバイルでも使用可能。最適な焦点距離は、ユーザの眼鏡処方も考慮しているため、眼鏡なしで快適な視聴体験も可能。Rendering動き回ることが可能な実写ベースのバーチャル空間を作成できるCNNを用いた自由視点レンダリング法を提案する研究。実写画像から新規のバーチャルシーンを生成する手法。Reenactmentメガネフレーム側面に装着したカメラによる顔の側面映像から正面の表情を再現する機械学習を用いた手法を提案する研究。RGB魚眼カメラから撮影した着用者の横顔を入力に、正面の顔をリアルタイムに再構築。Network)を用いた手法を提案する研究。Image1枚のパノラマ画像から3Dルームレイアウトを推定し再構築する手法を提案する研究。直方体ではないL字型のレイアウトにも対応する。Metamaterials網膜に画像を直接投影することで、現実空間と仮想オブジェクトの調和を実現する透過型ミラーデバイスを用いたレーザ投影システムを提案する研究。LCOS-SLM型レーザプロジェクターを光源に、TMDで離散的に光源を分割し、眼球レンズの位置で離散点光源として再収束させることで網膜に投影する。Photographyデュアルレンズ搭載スマートフォンで撮影した画像から3Dパノラマを生成する技術を提案する研究。深度マップ、スティッチング、任意のデバイスでレンダリングできるテクスチャ付きメッシュに変換する。Blind視覚障害者向けにHoloLensを用いて周囲情報を取得し音声で伝えるサポートシステムを提案する研究。ユーザの周囲をスキャンしマップを作成、シーン内の各オブジェクトに対して、オブジェクトの位置を形成するような音声を生成し伝達する。壁などへの衝突を回避できる。指定した物体にラベリングしておくと、何があるかも教えてくれる。RealityVR体験者の目の瞬き時にバーチャルシーンを少し回転させるリダイレクトウォーキング技術を提案する研究。瞬きをしている時間における知覚ができない現象を利用して、気が付かれない値、瞬き中に約4〜9cm、約2〜5°の回転を実行する。これにより、物理空間以上の広さをバーチャル空間で歩行する。Videos一般的なモノラルマイクで収録された屋内での360°ビデオシーンに後から空間オーディオを追加する手法を提案する研究。Situ2Dスケッチと3Dスケッチ(AR)を統合したハイブリット描画システム「SymbiosisSketch」を提案する研究。3D空間に立体的な絵を描けることに加えて、3D空間で定義した曲面や平面キャンバスをタブレットに投影し2Dベースで描くことができ、逆にタブレット上で描くことで入力点が3Dキャンバスに投影され、新しいストロークが生成される。Surfaces光学シースルーHMD(HoloLensなど)を用いて机や壁などの表面をタッチスクリーンにするインタフェース「MRTouch」を提案する研究。机の表面をタイピングしたりなどWebブラウザのように使用したり、壁をキャンパスのようにし絵を描いたりが可能になる。8台からのライブ3D再構築ルームをVRで体験できるシステムを提案する研究。部屋の天井に取り付けられた8台のKinectから取得したデータを、1つの3Dルームに結合し再構築する。物理ルームと3D再構築ルームはライブで位置を合わせする。現実空間をあたかも操作しているかのように感じられる。Models1台の単眼カメラから人体3Dアバタを4.5mm精度で生成する機械学習を用いた手法を提案する研究。複雑なカメラ機器や深度センサは必要とせず、1台のカメラからの単一の視点で、ぐるっと回るだけでスキャンし3Dモデルを作成する。Blindness光学シースルーHMDを用いて色覚異常者を補助するメガネ型デバイス「ChromaGlasses」を提案する研究。ユーザが見る環境を感知し、環境中の重要な特徴(ユーザが区別できない色)を識別し検出、そして検出した重要な特徴に応じてHMDによってピクセル精度で色を補正することにより、色覚異常をリアルタイムに緩和させる。Workspace追跡したユーザの視線を3Dオブジェクト上に可視化し、各オブジェクトをどれだけ注視しているかを解析する3D視線マッピングシステムを提案する研究。各オブジェクトの視線分布を解析し、円グラフやヒートマップ、オブジェクトを色分けなどのランキング形式で可視化する。RGBカメラから手指の追跡をするCNNを用いたリアルタイム3Dハンドトラッキング技術を提案する研究。物で隠れた指も正確に推定可能。同時にロボットアームが3Dオブジェクトを作成する。Displays眼球運動の矯正を用いた新たな多焦点ディスプレイ技術を提案する研究。視線に合わせて体験者に適切な焦点面を高品質で提供するマルチフォーカスディスプレイを可能にする。