光学シースルー方式HMDと小型カメラを利用し、利用者の指先をポインティングデバイスとして、現実世界の物体と仮想空間を繋げる新しいバーチャルリアリティ・AR技術を確立しました。HMDから見た現実の物体を指先で切り出してデジタル写真として保存する、保存した写真を基にしてその場で関連情報をWeb検索するなど、新しい携帯型コンテンツ、エンタテイメントコンテンツとして活用可能性があります。本技術の実用化、共同研究へ意欲的な企業を歓迎します。バーチャルリアリティ・AR(拡張現実感)技術の発展は目覚ましく、スマートフォンなどと連携して、様々な場面でアプリケーションが実用化されています。日常空間において、現実物体に仮想空間の情報を重ねて表示しリアリティの高い表現手法を実現したり、あるいは現実物体の関連情報をその場で検索・表示するなどのアプリケーションが利用されています。個人向けコンピューティングの多くは対話型のサービスであり、その利用中は端末の操作に注力する必要があります。スマートフォンなどの携帯端末へのタッチ入力では、視界を端末の画面へ向け、片手で端末を保持し、もう一方の手でポイント操作を行う必要があります。Target"をご提案します。Target"は、HMD端末、小型Webカメラ、小型携帯端末から成り立っています。光学式シースルー方式HMDを利用しています。光学式シースルー方式(レンズが透明)であるため、現実オブジェクトが視界そのものであり、視界が広く、表示遅延がありません。そのため、レンズを通して現実世界を見ながら、仮想オブジェクトを重ね合わせることが可能です。2)小型WebカメラHMD端末に取り付けます。指先のジェスチャーを撮影するために使用します。小型Webカメラから撮影した画像(指先のジェスチャー情報)を取り込み、ジェスチャー動作を基に、HMDへクリック、切り出し、キャリブレーションなどのコマンド情報、指先のカーソル情報を伝えます。計算量が軽いため、スマートフォンやタブレット端末へ実装可能です。指先のジェスチャーによって、光学式シースルー方式HMDから見た現実の物体(オブジェクト)と、仮想空間のオブジェクトを繋げることが可能です。1)指先を小さく左回りすることによって仮想オブジェクトをクリックします。※仮想デスクトップを重ねて表示し、例えば、切り出した現実オブジェクトの写真保存、編集などをクリックによって行うことが可能です。2)指先を小さく右回りすることによって現実オブジェクトを切り出します。3)指先を左右に大きく振ることによって、キャリブレーションを行います。※キャリブレーションとは、視線とカメラの座標のずれを補正する処理です。指先は目やカメラに近く、このずれの影響は本来無視できませんが、本技術では、高精度のキャリブレーションを達成しています。そのため、自然な操作感を実現しています。)】AR環境における多くの直感型入力インタフェースでは、操作正確性や高速性の観点から、マーカデバイスが用いられています。ユーザが先の尖った筆記具(スタイラス)を持ち、その筆記具をポインティングデバイスとして、現実物体と仮想空間を繋げています。マーカデバイスを持ち歩かなければ利用できないため、不便です。本技術では、ユーザの指先をポインティングデバイスとしており、マーカレスです。以下2点の機能により、マーカデバイスを用いた場合と同等の操作高速性と正確性を達成しています。1)独自のアルゴリズムにより情報処理量が非常に軽量であること。(モバイル環境上で30フレーム以上のリアルタイム動作を実現)2)高精度のキャリブレーションを達成していること。マーカレスであるため利便性が高く、高可搬性のインタフェースと言えます。操作性が高く、習熟の必要なく利用が可能です。Web検索システムと同期するアプリケーションまで昇華させている点も特徴の一つです。本技術の実用化を希望する企業を歓迎します。以下に該当する企業へご提案可能です。1)バーチャルリアリティ・ARの研究開発を行っている企業。2)HMDの研究開発を行っている企業。3)スマートフォン等携帯端末用アプリケーションの研究開発を行っている企業。4)その他、本技術の実用化に意欲的な企業。新しい携帯型コンテンツ、エンタテイメントコンテンツとして、様々な応用が可能です。その場で見た物体のWeb検索用途が考えられます。その場で確認することができます。基本的なソフトウェアは既に確立しています。お問い合わせ後、デモンストレーションや技術の詳細説明などさせていただきます。准教授は、マイクロプロセッサの設計を専門としつつ、様々なインタフェース機器に関する研究へ取り組んでいます。【専門用語の解説】(光学シースルー方式HMD)ヘッドアップディスプレイの一種です。ディスプレイ装置はハーフミラーでできており外の様子が見えます。近年ではホログラフィック素子を用いたディスプレイも開発されており、まさに眼鏡のレンズのような近距離に配置された導光板に映像を投影し、SFで描かれるような「映像が映る眼鏡」を実現化することも可能となっています。この技術・ノウハウに関するお問い合わせメールフォームのご利用は、以下の項目にご記入のうえ「送信する」ボタンを押してください。担当者より折り返しご連絡いたします。個人情報の取り扱いについては、こちらをご覧ください。検索したい言語がある場合は入力。空欄でも検索することができます。