×この技術を簡単クリック査定この機能をご利用いただくには、会員登録(無料)が必要です。出願した特許の牽制数、引用された数などを知る事ができます。気になる技術や特許をブックマークしておけば、いつでも後から読むことができます。後で印刷するために、公報をPDFでダウンロードできます。会員登録してastamuseを使えば、もっと簡単に便利にお使いいただけます。会員登録(無料)「astamuse」は世界中の挑戦したい社会課題に挑戦し、未来を創る人のプラットフォームです。画像表示装置の制御方法、および、コンピュータープログラムこの技術は特許登録された実績があります。※この項目の情報は公開日時点(2016年12月1日)のものです。;シナリオ情報と、シナリオ情報に対応付けられた機器情報と、記憶する記憶部を備え;シナリオ情報は、所定の条件が満たされることを他の情報処理装置が判定する場合に、他の情報処理装置が所定の情報の提示または受付を実行するように構成された情報を含み;機器情報は、他の情報処理装置が所定の条件が満たされることを判定すること、および、所定の情報の提示または受付をすることのうち少なくとも1つを実行する場合に求められる他の情報処理装置のハードウェアの仕様を表す情報を含む。1に記載されているように、ビデオ撮影された被写体の動作の内、一部の動作に対応させて生成した画像を、ビデオ撮影された被写体の動画に同期させて表示させる表示装置が知られている。特許文献2には、第1のプロセッサが画像データを生成し、生成した画像データをディスプレイシステムに供給することと、第2のプロセッサが撮像された使用者のジェスチャーとポイント座標とを第1のプロセッサへと供給することと、を行なう方法が記載されている。この方法では、第1のプロセッサは、撮像された使用者のジェスチャーに基づいて、各種操作を行なう。処理を実行する機器の性能の相違によって発生する不具合を抑制した画像を表示する技術を提供する。情報処理装置は;シナリオ情報と、シナリオ情報に対応付けられた機器情報と、記憶する記憶部を備え;シナリオ情報は、所定の条件が満たされることを他の情報処理装置が判定する場合に、他の情報処理装置が所定の情報の提示または受付を実行するように構成された情報を含み;機器情報は、他の情報処理装置が所定の条件が満たされることを判定すること、および、所定の情報の提示または受付をすることのうち少なくとも1つを実行する場合に求められる他の情報処理装置のハードウェアの仕様を表す情報を含む。0001本発明は、情報処理装置の技術に関する。背景技術0002従来、特許文献1に記載されているように、ビデオ撮影された被写体の動作の内、一部の動作に対応させて生成した画像を、ビデオ撮影された被写体の動画に同期させて表示させる表示装置が知られている。特許文献2には、第1のプロセッサが画像データを生成し、生成した画像データをディスプレイシステムに供給することと、第2のプロセッサが撮像された使用者のジェスチャーとポイント座標とを第1のプロセッサへと供給することと、を行なう方法が記載されている。この方法では、第1のプロセッサは、撮像された使用者のジェスチャーに基づいて、各種操作を行なう。発明が解決しようとする課題0004しかし、特許文献1および特許文献2には、撮像した対象に基づいて画像データが生成されることについては開示されていない。画像データに基づく画像の表示などの何らかの処理が実行される場合に、処理を実行する機器の性能の相違によって、例えば、動画の処理速度が遅いなどといった不具合が生じるおそれがあった。容易化、使い勝手の向上等が望まれていた。課題を解決するための手段0005本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。0006(1)本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は、シナリオ情報と、前記シナリオ情報に対応付けられた機器情報と、記憶する記憶部を備え;前記シナリオ情報は、所定の条件が満たされることを他の情報処理装置が判定する場合に、前記他の情報処理装置が所定の情報の提示または受付を実行するように構成された情報を含み;前記機器情報は、前記他の情報処理装置が前記所定の条件が満たされることを判定すること、および、前記所定の情報の提示または受付をすることのうち少なくとも1つを実行する場合に求められる前記他の情報処理装置のハードウェアの仕様を表す情報を含む。この形態の情報処理装置によれば、記憶部に記憶されたシナリオ情報が他の情報処理装置で実行された場合に、記憶部に記憶されたシナリオ情報が実行されるために必要な機器について機器情報が参照される。シナリオ情報を実行する機器は、機器情報を参照することで、シナリオ情報を実行する自身と機器情報に記憶された各種機器の性能に違いがあっても、不具合を抑制したシナリオ情報に含まれる所定の情報の提示または受付を実行できる。0007(2)上記形態の情報処理装置において、さらに;前記シナリオ情報を生成する生成部を備え;前記機器情報は、前記生成部のハードウェアの仕様を表す情報を含んでもよい。この形態の情報処理装置によれば、シナリオ情報が生成されるときに、簡便に機器情報が作成される。0008(3)上記形態の情報処理装置において、さらに;外景を撮像する第1撮像部を備え;前記所定の条件は、撮像された撮像画像の中から予め設定された特定対象の検出であり、前記所定の情報の提示は、前記所定の条件に対応付けられた画像の表示であってもよい。この形態の情報処理装置によれば、第1撮像部の撮像範囲の中からシナリオ情報に含まれる所定の条件としての特定対象の検出が作成され、所定の情報の提示としての画像の表示が作成されるため、使用者は、表示したい画像としての被写体を撮像するだけでシナリオ情報を生成でき、シナリオ情報を生成する際の使用者の使い勝手が向上する。0009(4)上記形態の情報処理装置において、前記機器情報は、前記第1撮像部のハードウェアの仕様を表す情報と、前記画像の表示を実行する画像表示部のハードウェアに関する情報と、を含んでもよい。この形態の情報処理装置によれば、シナリオ情報を実行する装置の画像表示部のハードウェアに関する情報と、機器情報の第1撮像部のハードウェアの仕様を表す情報と、の違いによるシナリオ情報が実行されたときの所定の情報の提示としての表示画像の不具合を抑制できる。0010(5)上記形態の情報処理装置において、前記第1撮像部は、前記特定対象までの距離を測定し;前記画像の表示は、測定された距離の位置に視認されるような三次元画像の表示として実行されてもよい。この形態の情報処理装置によれば、撮像範囲の中に含まれる特定対象までの距離を含む画像が自動的に作成され、距離の情報に基づく画像が作成されるため、使用者は、簡便に立体的な画像を含むシナリオ情報を生成でき、シナリオ情報を生成する際の使用者の使い勝手がより向上する。0011(6)上記形態の情報処理装置において、前記シナリオ情報は、音声出力の情報を含み;前記所定の条件は、前記音声出力のタイミングを含み;前記機器情報は、前記音声出力を実行する音声出力部のハードウェアの仕様を表す情報を含んでもよい。この形態の情報処理装置によれば、シナリオ情報に含まれる所定の情報の提示として、画像表示の処理に加えて、音声出力の処理も含まれるため、使用者の利便性が向上する。0012(7)本発明の他の形態によれば、画像を表示する画像表示部を有する画像表示装置が提供される。性能の情報を表す表示装置情報と前記機器情報との比較を行ない、実行する前記シナリオ情報の前記所定の情報の提示または受付を、前記比較に基づいて変更する制御情報変更部と;を備える。この形態の画像表示装置によれば、他の情報処理装置によって生成されたシナリオ情報を実行する場合に、シナリオ情報を生成した情報処理装置が有する機器を画像表示装置が有していなくても、画像表示装置が有する機器に対応させてシナリオ情報を実行する。これにより、シナリオ情報を実行する画像表示装置のそれぞれに対応させてシナリオ情報が生成される必要がなく、シナリオ情報を生成する情報処理装置が限定されないため、シナリオ情報の生成や提供を行なう者の使い勝手が向上する。シナリオ情報を実行する画像表示装置の機器に応じてシナリオ情報が実行されるため、シナリオ情報を実行する使用者の利便性を向上させることができる。0013(8)上記形態の画像表示装置において、前記画像表示部は、使用者の頭部に装着され、外景を透過可能であり;前記画像表示装置は、さらに;前記外景の一部を撮像する第2撮像部と;撮像された撮像画像から検出された特定対象の位置に対応付けて前記画像の表示を前記画像表示部に実行させる画像設定部と、を備えてもよい。この形態の画像表示装置によれば、現実の特定対象と所定の情報の提示として表示される表示画像とをより対応付けて使用者に視認させることができ、使用者の使い勝手が向上する。0014上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。0015記憶部は、例えば、シナリオ情報と、前記シナリオ情報に対応付けられた機器情報と、を記憶してもよい。シナリオ情報は、例えば、所定の条件が満たされることを他の情報処理装置が判定する場合に、前記他の情報処理装置が所定の情報の提示または受付を実行するように構成された情報を含んでもよい。機器情報は、前記他の情報処理装置が前記所定の条件が満たされることを判定すること、および、前記所定の情報の提示または受付をすることのうち少なくとも1つを実行する場合に求められる前記他の情報処理装置のハードウェアの仕様を表す情報を含んでもよい。他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも1つを解決することができる。前述した情報処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。種々の形態で実現することも可能である。システム、画像表示システム、制御システム、および、情報処理装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。(HMD)の外観構成を示す説明図である。画像表示部のカメラが被写体であるペットボトルを撮像している状態のイメージ図である。第1実施形態におけるHMDの構成を機能的に示すブロック図である。シナリオデータ管理テーブルが含むオブジェクト情報の一例を示す説明図である。ARシナリオ作成処理の流れを示すフローチャートである。使用者がARシナリオを作成するときのカメラの撮像画像を示す説明図である。使用者がARシナリオを作成するときのカメラの撮像画像を示す説明図である。使用者がARシナリオを作成するときのカメラの撮像画像を示す説明図である。第2実施形態におけるARシナリオを実行する装置としてのHMDの構成を機能的に示すブロック図である。ARシナリオ実行処理の流れを示すフローチャートである。流れを示すフローチャートである。物体認識処理の流れを示すフローチャートである。物体認識処理の流れを示すフローチャートである。UIデータ出力処理の流れを示すフローチャートである。キャップ装着シナリオの流れを示すフローチャートである。撮像画像の中からペットボトルとキャップとが検出された場合に使用者が視認する視野を示す説明図である。検出されたペットボトルやキャップに対応付けられている画像が画像表示部に表示された場合に使用者が視認する視野を示す説明図である。キャップを回転させるための画像が画像表示部に表示された場合に使用者が視認する視野を示す説明図である。文字画像が画像表示部に表示される表示関連実行処理が行なわれた場合に使用者が視認する視野を示す説明図である。第3実施形態におけるARシナリオ実行処理の流れを示すフローチャートである。オブジェクト実行処理の流れを示すフローチャートである。第3実施形態のオブジェクト実行処理における各処理の内容を示す一覧表である。第1条件に対応付けられて実行される表示関連およびUIの処理内容を示す一覧表である。第1条件が検出された場合に使用者が視認する視野を示す説明図である。第2条件に対応付けられて実行される表示関連およびUIの処理内容を示す一覧表である。第2条件が検出された場合に使用者が視認する視野を示す説明図である。第3条件に対応付けられて実行される表示関連およびUIの処理内容を示す一覧表である。第3条件が検出された場合に使用者が視認する視野を示す説明図である。第4条件に対応付けられて実行される表示関連およびUIの処理内容を示す一覧表である。第4条件が検出された場合に使用者が視認する視野を示す説明図である。第4条件が検出された後に文字画像が表示された場合に使用者が視認する視野を示す説明図である。第4実施形態におけるARシナリオ作成処理の流れを示すフローチャートである。変形例におけるHMDの外観構成を示す説明図である。実施例0018次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。100(HMD100)の外観構成を示す説明図である。Display、HMD)とも呼ばれる。本実施形態のHMD100は、請求項における情報処理装置に相当する。図10020HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。0021画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、赤外線LED64と、TOFセンサー63と、マイク69と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。0022右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。0023右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図9参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。調光板は省略可能である。図2図90025カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ61は、使用者が画像表示部20を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。カメラ61は、撮像した外景のR成分とG成分とB成分とのそれぞれのデータとしてのRGBデータを後述する制御部10のセンサー制御部145に送信する。Reality)シナリオが生成される。生成されたARシナリオは、本実施形態のHMD100や撮像部を有するHMD100と異なる画像表示装置などで実行されると、ARシナリオを実行する画像表示装置の撮像部が撮像した撮像画像の中から検出された対象物に対応付けて、本実施形態のHMD100が生成したARシナリオが再生される。本実施形態のカメラ61は、単眼カメラであるが、ステレオカメラであってもよい。複数のカメラ61によって複数の撮像画像が取得されてもよい。カメラ61は、請求項における第1撮像部に相当する。ARシナリオは、請求項におけるシナリオ情報に相当する。0026赤外線LED64およびTOFセンサー63は、カメラ61と隣り合う位置である使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。TOFセンサー63は、赤外線LED64が発光した赤外線が特定の対象に反射した反射光を検出する。赤外線LED64とTOFセンサー63とを合わせて、距離センサー65とも呼ぶ。距離センサー65は、物体の表面で反射した赤外線反射光の無数の点のデータを制御部10のセンサー制御部145に送信する。他の実施形態では、複数の距離センサー65が用いられてもよいし、本実施形態とは異なる方法によってカメラ61の撮像範囲の中の被写体までの距離が測定されてもよい。以降では、測定された距離をD成分として、RGBデータに合わせて、RGBDデータともいう。0027図2は、画像表示部20のカメラ61が被写体であるペットボトルPTを撮像している状態のイメージ図である。図2には、画像表示部20を頭部に装着した使用者USが、キャップCPが装着されていないペットボトルPTに、右手に保持したキャップCPを装着させようとしている状態が示されている。この状態では、画像表示部20のカメラ61は、カメラ61の画角θの範囲の外景を撮像できる。図20028マイク69は、外部の音声を取得する装置である。マイク69は、使用者が画像表示部20を装着した際の右表示駆動部22における使用者と対向する側の反対側(外側)に形成されている。0029画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。0030画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。0031制御部10は、HMD100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、HMD100の動作状態を、その発光状態によって通知する。HMD100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LEDが用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。いった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。0032図3は、第1実施形態におけるHMD100の構成を機能的に示すブロック図である。図3に示すように、画像表示部20は、カメラ61と、距離センサー65としてのTOFセンサー63および赤外線LED64と、マイク69と、を備えている。図3では、画像表示部20によって使用者に視認させる虚像を生成するための機能およびCPU140における虚像の生成に関連する機能の一部については、図示を省略している。以降では、画像表示部20が虚像を生成することを、単に、画像を表示するともいい、生成される虚像を、単に、表示画像ともいう。図30033制御部10は、CPU140と、操作部135と、インターフェイス180と、データ記憶部120と、電源130と、ROM121と、RAM122と、を有している。操作部135は、使用者による操作を受け付け、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。0034電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。ROM121は、種々のコンピュータープログラムを格納している。CPU140は、ROM121に格納されているコンピュータープログラムを読み出し、RAM122に書き込みを実行することにより、種々のコンピュータープログラムを実行する。CPU140は、ARシナリオ制御部141と、物体トラッキング部142と、物体認識部143と、3Dモデル生成部144と、センサー制御部145と、UI制御部146と、ARシナリオ操作設定部147と、付加情報取得部148と、不要画像消去部149と、AR画像抽出部151と、を有している。0035センサー制御部145は、カメラ61から送信された撮像画像のRGBデータと、距離センサー65から送信された撮像範囲の無数の点のデータと、を取得する。センサー制御部145は、カメラ61および距離センサー65から取得したデータを、物体トラッキング部142と三次元モデル生成部144(3Dモデル生成部144)とのそれぞれに送信する。センサー制御部145は、UI制御部146から送信された制御信号に基づいて、カメラ61および距離センサー65を制御する。00363Dモデル生成部144は、ARシナリオ制御部141から送信される制御信号に基づいて、センサー制御部145から送信された撮像画像のRGBデータと距離センサー65の距離データと用いて、撮像範囲の中の対象について、三次元モデル(3Dモデル)を生成する。3Dモデル生成部144は、距離センサー65によって取得された距離データに基づいて、撮像範囲の物体の形状を取得し、取得した物体の形状における同一の境界を検出して、3Dモデルを生成する。3Dモデル生成部144は、撮像画像のRGBデータに基づいて、生成した3Dモデルに着色する。3Dモデル生成部144は、生成した着色済みの3Dモデルと、検出した同一の境界のデータと、を物体認識部143へと送信する。0037物体認識部143は、ARシナリオ制御部141から送信される制御信号に基づいて、3Dモデル生成部144によって生成された3Dモデルおよび検出された同一の境界のデータを用いて、連続している境界のデータを有する3Dモデルを1つの物体として認識する。換言すれば、物体認識部143は、連続していない境界のデータに基づいて、3Dモデルを切り離して、1つ1つの物体として認識する。物体認識部143は、ARシナリオ制御部141を介して、後述するデータ記憶部120に記憶された人体のパーツ(例えば、手や足)の情報を取得する。物体認識部143は、認識した物体に対して、取得した人体のパーツの情報を基にパターンマッチングや統計的識別法を用いることで、3Dモデルの中から人体を抽出する。0038物体トラッキング部142は、ARシナリオ制御部141から送信される制御信号に基づいて、認識された物体の1つ1つの内、カメラ61が撮像している間に動いている物体の動きを特定する。物体トラッキング部142は、動いている物体(移動物体)と動いていない物体(静止物体)とを特定する情報を、UI制御部146およびARシナリオ制御部141へと送信する。0039UI制御部146は、マイク69が取得した音声や操作部135が受け付けた操作に基づいて、画像表示部20、イヤホン32,34、および、CPU140に含まれる各部へと制御信号を送信する。UI制御部146は、操作部135が受け付けた操作に基づいて、カメラ61および距離センサー65を制御する制御信号をセンサー制御部145へと送信する。物体トラッキング部142から送信された特定した物体について、物体のそれぞれを使用者が選択して操作できるように、物体のそれぞれを画像表示部20に表示するための画像信号を画像表示部20へと送信する。UI制御部146は、後述するARシナリオ作成処理において、マイク69によって取得された音声を自動的に文字画像へと変換するテキスト変換部152を有している。テキスト変換部152は、取得された音声を音声認識して、対応する文字画像へと変換する。0040ARシナリオ操作設定部147は、HMD100によって作成されたARシナリオが操作する状況について設定する。ARシナリオには、使用者によってARシナリオに挿入された音声や文字画像などが含まれる。ARシナリオ操作設定部147は、例えば、生成された動画に対応付けられている対象物が、ARシナリオを実行可能な装置が撮像した撮像範囲の中から、画像認識によって現実の対象として検出された場合などに、装置がARシナリオを実行できるように設定する。ARシナリオ操作設定部147は、ARシナリオを実行可能な装置が撮像した撮像範囲において、予め設定された特定の物体が検出されることにより、実行されるARシナリオにおける複数の分岐などを設定する。ARシナリオが実行されている場合に、撮像範囲の中から検出された現実の対象に対応付けられて表示され、実行されているARシナリオに含まれる画像をAR画像とも呼ぶ。0041付加情報取得部148は、UI制御部146から送信されるユーザーインターフェース(UI)としての操作部135が受け付けた操作信号やマイク69が取得した音声と、ARシナリオ制御部141から送信される制御信号とに基づいて、ARシナリオに付加する情報を取得する。ARシナリオに付加される情報としては、例えば、操作部135が受け付けた操作によって設定される画像の拡大または縮小といった表示方法の設定や、マイク69が取得した音声が変換されたテキストの挿入などがある。0042ARシナリオ制御部141は、ARシナリオを作成するために、CPU140の各部を制御する。ARシナリオ制御部141は、物体トラッキング部142によって特定された移動物体および静止物体と、UIが受け付けた操作と、に基づいて、AR画像として生成される物体とAR画像として生成されない物体と区別し、区別した結果を不要画像消去部149およびAR画像抽出部151へと送信する。ARシナリオ制御部141は、データ記憶部120と各種データを送受信することにより、既に作成されたARシナリオを読み込んで編集したり、新規で作成したARシナリオをデータ記憶部120に記憶させたりする。0043不要画像消去部149は、ARシナリオ制御部141およびARシナリオ操作設定部147から送信された制御信号に基づいて、特定された物体の内、AR画像として生成されない物体の画像を消去する。換言すれば、不要画像消去部149は、撮像画像の中から、AR画像として生成する物体を選択するともいえる。不要画像消去部149は、不要な物体として消去した画像の画像信号をARシナリオ制御部141へと送信する。本実施形態では、操作部135が所定の操作を受け付けない場合には、不要画像消去部149は、撮像された人間の体を不要な物体として自動的に消去する。他の実施形態では、不要画像消去部149は、自動的に人間の体などを消去する必要はない。0044AR画像抽出部151は、ARシナリオ制御部141から送信された制御信号に基づいて、AR画像としてARシナリオに表示させる物体を抽出して、画像を生成する。AR画像抽出部151は、距離センサー65によって取得された距離データに基づいて、AR画像を三次元の画像として生成する。AR画像抽出部151は、カメラ61によって取得されたRGBデータに基づいて、生成したAR画像に着色を行なう。AR画像抽出部151は、抽出したAR画像として生成する物体を特定する信号をARシナリオ制御部141へと送信する。AR画像抽出部151は、操作部135を介して所定の操作を受け付けることにより、データ記憶部120に記憶された特定の物体を、自動的にAR画像として生成する物体として抽出できる。design)によって作成された図面によって特定される物体などがある。0045ARシナリオ制御部141は、不要画像消去部149から送信された不要な物体として消去された画像の画像信号と、AR画像抽出部151によって抽出されたAR画像の画像信号と、を受信して、ARシナリオを作成する。ARシナリオ制御部141は、ARシナリオを作成する場合に、ARシナリオを作成した情報処理装置としてのHMD100の各種機器の性能を表す機器情報テーブルTB1を作成する。機器情報テーブルTB1には、HMD100が備える各種機器の性能として、カメラ61の性能としての解像度や画角、画像表示部20の表示領域や解像度、CPU140の処理能力、距離センサー65の画角や測定距離の精度、ROM121およびRAM122の能力などが含まれている。0046また、ARシナリオ制御部141は、ARシナリオが実行されるときのAR画像の表示などの実行される各種処理のトリガーとなる条件と、条件の検出に応じて定まる順序に沿って実行されるAR画像の表示などのオブジェクト情報と、を含むシナリオデータ管理テーブルTB2も作成する。オブジェクト情報は、実行される処理のデータ(例えば、AR画像)と、データを出力させる処理を実行するための制御に必要な制御情報と、を含んでいる。言い換えると、ARシナリオは、実行される各種処理の順序を実現するための条件と、オブジェクト情報とを含むシナリオデータ管理テーブルTB2を有している。ARシナリオ制御部141は、シナリオデータ管理テーブルTB2を有するARシナリオが実行された場合に、ARシナリオを実行する装置が有する機器の性能に対応させてシナリオデータ管理テーブルTB2に含まれる制御情報を変更できるように、機器情報テーブルTB1を当該制御情報に対応付けて作成する。本明細書におけるオブジェクト情報が含む出力されるデータとは、画像の表示や音声の出力などに加え、音声の入力を受け付ける状態に変化させるといった入力を待機する状態も含む。0047図4は、シナリオデータ管理テーブルTB2が含むオブジェクト情報の一例を示す説明図である。図4に示すように、オブジェクト情報は、ARシナリオが実行されたときの後述する処理である表示関連実行処理(図4の表示関連)、物体認識処理(図4の物体認識)、UIデータ出力処理(図4のUI)に区分されている。オブジェクト情報では、出力されるデータと当該データを出力するための制御情報とが対応付けられている。本実施形態のオブジェクト情報では、ARシナリオを実行する装置の性能に関係する情報が制御情報として記憶されている。1つのオブジェクト情報としては、オブジェクトの名称がキャップであり、種別が3Dモデルであり、当該制御情報としての特徴点の座標が(X1,Y1,Z1)として特定され、画像として表示される場合に特徴点の座標が(X2,Y2,Z2)に設定されて表示され、画像として表示される際の表示領域のサイズが表示領域全体の大きさを1としたときにS1(<1)倍の大きさとして表示される。この制御情報に対応した3Dモデルの画像データは、データの欄に示されたキャップCPである。この制御情報は、表示関連および物体認識の対象として記憶されている。図4に示すデータの内の「CP」については、説明のために便宜上示した記号であり、データとしては記憶されていない。本実施形態では、制御情報とデータとが対応付けて記憶されているが、他の実施形態では、制御情報とデータとは別々の情報として記憶されていてもよい。graphics)空間(モデル空間)の座標として記憶されているが、他の実施形態では、それ以外の空間の座標として記憶されていてもよいし、2次元の座標として記憶されていてもよい。機器情報テーブルTB1は、CG空間の座標における1ピクセルと実空間の座標における単位面積との対応情報を有している。機器情報テーブルTB1が当該対応情報を有することで、実空間での1ミリメートル(mm)当たりのピクセル数、または、1ピクセル当たりの実空間での長さの関係を対応付けることができる。図40048図4に示す表示関連の内のオブジェクト名称が表示ナビ1では、種別が文字画像であるため、ARシナリオが実行されているときにデータの「キャップを・・・」の文字画像が表示される。図4に示す物体認識は、撮像範囲から検出された対象を認識するデータについてであり、オブジェクト名称がペットボトルの例では、3DモデルとしてのペットボトルPTが撮像範囲から検出されると物体認識が開始される。特徴点としての座標(X4,Y4,Z4)の位置を基準としてペットボトルPTの検出が判断される。ペットボトルPTの変形がないため、制御情報の物体形状変化として、固定が記憶されている。許容認識精度としてペットボトルPTを検出する際の誤差がS4(mm)まで許容される。撮像範囲からペットボトルPTの検出を終了するか否かとして、終了時の状態であるキャップCP装着後が記憶されている。図40049図4に示すUIの内のオブジェクト名称が音声ナビ2では、データとして記憶された「キャップをAR画像の・・・」が種別として記憶された音声として主力される。当該音声が録音された時間または再生される時間としての録音時間がS5(s)として記憶されている。音声ナビ2には、代替テキストへのリンクが有りとして記憶されているため、ARシナリオを実行している装置が音声を出力する機器を備えていない場合に、音声として出力される予定のデータが文字画像として表示される。図4に示すUIの内のオブジェクト名称が入力確認1では、種別が音声認識であるため、ARシナリオが実行されているときにマイクなどの音声取得が可能な機器によって、データとして記憶された「はい」の音声を取得する。入力確認1では、入力受付へのリンクが有りとして記憶されているため、ARシナリオを実行している装置が音声を取得する機器を備えていない場合に、音声として入力される予定のデータをキーボードやマウスといった他のUIからの操作をとして受け付けることもできる。図40050ARシナリオ制御部141は、作成した機器情報テーブルTB1とシナリオデータ管理テーブルTB2とを関連付けて、データ記憶部120に記憶させる。ARシナリオ制御部141が機器情報テーブルTB1とシナリオデータ管理テーブルTB2とを関連付けて記憶することで、ARシナリオが実行される装置の性能と、ARシナリオを作成した情報処理装置との性能と、に違いがある場合でも、所定の順序に沿って、不具合を抑制したARシナリオが実行される。ARシナリオ制御部141は、請求項における生成部に相当し、データ記憶部120は、請求項における記憶部に相当する。本実施形態では、ARシナリオは、画像シナリオである。0051A−2.ARシナリオ作成処理:図5は、ARシナリオ作成処理の流れを示すフローチャートである。ARシナリオ作成処理は、カメラ61を有する情報処理装置としてのHMD100によってARシナリオが作成される処理である。HMD100のARシナリオ制御部141は、機器情報テーブルTB1とシナリオデータ管理テーブルTB2とを対応付けてデータ記憶部120に記憶させて、ARシナリオを作成する。図50052ARシナリオ作成処理では、初めに、ARシナリオ制御部141がARシナリオを作成する情報処理装置としてのHMD100の機器情報テーブルTB1を作成する(ステップS11)。ARシナリオ制御部141は、HMD100におけるカメラ61の性能、距離センサー65の性能、マイク69の性能、ROM121およびRAM122の性能、および、HMD100が対応しているUIについての機器情報テーブルTB1を作成する。これら各種機器の性能として、例えば、カメラ61の解像度やカメラ61の画角、または内部パラメーターなどが挙げられ、距離センサー65の撮像範囲の被写体の対象までの距離として測定した深度の精度などが挙げられる。カメラ61の内部パラメーターとは、カメラ61に含まれるイメージセンサーの1画素あたりの横方向・縦方向のそれぞれの長さ(または、それぞれの方向の画素密度)とカメラ61の焦点距離とに基づいて画素数で表現された焦点距離、および、カメラ61の光軸とイメージセンサーとの交点を原点とするときのイメージセンサーの中心座標である。0053ARシナリオ制御部141は、機器情報テーブルTB1を作成すると、ARシナリオを作成するためのカメラ61を用いた外景の撮像およびマイク69を用いた外部音声の取得である録音を開始する(ステップS13)。本実施形態では、図2に示したように、ARシナリオ制御部141は、HMD100を装着した使用者USが、キャップCPが装着されていないペットボトルPTにキャップCPを装着させるためのARシナリオを作成する。図20054図6ないし図8は、使用者USがARシナリオを作成するときのカメラ61の撮像画像IMGを示す説明図である。図6から図8までの各図には、図2に示すように、使用者USがペットボトルPTにキャップCPを装着させるときに、装着したHMD100のカメラ61が撮像した動画の内の撮像画像IMGが示されている。本実施形態では、画像表示部20を装着した使用者USのカメラ61の撮像画像IMGが使用者USの視野と同じ範囲になるように、カメラ61の画角が設定されている。図2図6図80055図6には、互いに装着されていないペットボトルPTとキャップCPとが撮像された撮像画像IMGが示されている。本実施形態では、使用者USがペットボトルPTに装着されていないキャップCPを、ペットボトルPTに装着するARシナリオが作成される。図60056図7には、キャップCPをペットボトルPTに装着するために、使用者USが、キャップCPを右手RHで保持して、ペットボトルPTにおけるキャップCPを装着させる場所である開口部PTaに移動させようとしている途中の状態の撮像画像IMGが示されている。本実施形態では、図7に示すキャップCPをペットボトルPTの開口部PTaに移動させるときに、使用者USは、「キャップを開口部の位置に移動させてください」と発言する。そのため、HMD100のマイク69は、使用者USの発言を外部音声として取得する。図70057図8には、使用者USが、キャップCPをペットボトルPTの開口部PTaに移動させた後に、キャップCPをペットボトルPTの開口部PTaの中心軸を中心として、上面から見たときに時計回り(以降では、単に、「時計回り」とも言う)の方向へと回転させているときの状態の撮像画像IMGが示されている。図80058図5のステップS13の処理が行なわれた後、操作部135は、撮像および録音を終了する所定の操作の受付を待機する(ステップS15)。撮像および録音を終了する所定の操作が受け付けられない場合には(ステップS15:NO)、ARシナリオ制御部141は、引き続き、ARシナリオを作成するための撮像および録音を実行し、所定の操作の受付を待機する(ステップS13)。ステップS15の処理において、使用者が、ペットボトルPTにキャップCPを装着させ、さらにキャップCPを回転させてペットボトルPTにキャップCPを固定させた後に、操作部135が所定の操作を受け付けると(ステップS15:YES)、ARシナリオ制御部141は、撮像および録音を終了する。図50059ARシナリオ制御部141は、ARシナリオを作成するための撮像および録音を終了すると、撮像画像に基づいて、表示関連のシナリオデータ管理テーブルTB2を作成する(ステップS17)。本実施形態では、ARシナリオ制御部141は、撮像した被写体や録音によって取得した音声を時系列の経過に沿って、被写体や音声のそれぞれに対して、図4に示すデータを作成する。キャップCPの動きについて、不要画像消去部149は、不要な物体として認識した使用者USの右手RHを撮像画像から削除する。その後、AR画像抽出部151は、右手RHが撮像されていない状態のキャップCPの画像に基づいて、右手RHに保持されて撮像されていないキャップCPの部分の画像を作成する。