×この技術を簡単クリック査定この機能をご利用いただくには、会員登録(無料)が必要です。出願した特許の牽制数、引用された数などを知る事ができます。気になる技術や特許をブックマークしておけば、いつでも後から読むことができます。後で印刷するために、公報をPDFでダウンロードできます。会員登録してastamuseを使えば、もっと簡単に便利にお使いいただけます。会員登録(無料)「astamuse」は世界中の挑戦したい社会課題に挑戦し、未来を創る人のプラットフォームです。深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法この技術は特許登録された実績があります。デジタル計算機のユーザインターフェイス※この項目の情報は公開日時点(2016年5月16日)のものです。深度カメラを用いて人体の骨格に基づくテコンドー型を認識し、これを用いて自動的に昇段有無を判定する昇段審査装置とその方法を提供すること。人間の動作認識技術は、センサーや特定の装置を人間の身体に取り付けて身体の動きを感知したデータを動作認識に活用する接触方式と、カメラを用いて人間の動作映像を追跡して動作認識情報を取り出す非接触方式と、に大別される。接触方式は、ユーザーの動きを感知可能なセンサーや装置を人間の身体に直接的に取り付けてこのユーザーの動き情報を取得する方式であり、この直接的に取り付けられたセンサーにより比較的に正確な情報が得られるというメリットがあるが、ユーザーがセンサーや装置を着用することを余儀なくされるという不都合がある。これに対し、非接触方式は、ほとんどの場合、人間の動作映像を撮影した後に動き情報を取り出す技術を利用する。接触方式の3Dコンテンツの制御方法は、ユーザーの動きを感知可能なセンサーや装置をユーザーが自ら着用して3Dコンテンツと相互作用するものである。接触方式のインタフェースの代表例としては、光ファイバ、磁気センサー、ジャイロセンサーを用いたデータグローブ、モーショントラッカーなどが挙げられる。接触方式による入力装置はほとんど商用化されている。Moveインタフェース、スペースマウスに代え得るGlobalFishインタフェース、ジョイスティックを弾性体リングを用いて製作してタッチパッドを組み込んだGroovePadインタフェースなど様々な3D物理的インタフェースが挙げられる。非接触方式に基づく3Dコンテンツの制御方法は、ほとんどの場合、カメラを用いて取得した映像情報から人間の動きを追跡して認識する。非接触方式は、身体部位に特定のマーカーを取り付け、視覚技術を用いて身体の動きを追跡するマーカーに基づく方式と、マーカーを用いないマーカーレス方式と、に大別される。マーカーに基づく方式は、映像のカラー、形状、発光ダイオード(LED)、赤外線などをマーカー属性として予め定めておき、そのマーカーを追跡することにより比較的に手軽に且つ迅速にユーザーの動作を追跡することができる。この方法は、映像の特徴点の取出しを相対的に速やかに行うことができるが、ユーザーは依然として不自然なマーカーを取り付けることを余儀なくされるという欠点がある。モーションヒストリーイメージなどの技法を用いてユーザーの動きの方向及び速度などを感知して動きをリアルタイムにて迅速に追跡することができ、また、光源の明るさを追跡して動きを追跡したりする。マーカーレス方式は、カメラの位置、光源の干渉、陰影などの外部要因に脆弱であるという欠点がある。テコンドー昇段審査は、全的に審査委員の主観的な判断により行われ、審査委員個々人の好み、気持ちなど外的要因の影響を受けやすいため一貫した基準がなく、それ故に不満が募っていた。深度カメラを用いて人体の骨格に基づくテコンドー型を認識し、これを用いて自動的に昇段有無を判定する昇段審査装置とその方法を提供すること。0001本発明は、キネクト(登録商標)などの深度カメラを用いて人体の骨格を取り出してこれをテコンドー型(プムセ)の認識及び昇段審査に利用するための昇段審査装置とその方法に関する。背景技術0002人間の動作認識技術は、センサーや特定の装置を人間の身体に取り付けて身体の動きを感知したデータを動作認識に活用する接触方式と、カメラを用いて人間の動作映像を追跡して動作認識情報を取り出す非接触方式と、に大別される。接触方式は、ユーザーの動きを感知可能なセンサーや装置を人間の身体に直接的に取り付けてこのユーザーの動き情報を取得する方式であり、この直接的に取り付けられたセンサーにより比較的に正確な情報が得られるというメリットがあるが、ユーザーがセンサーや装置を着用することを余儀なくされるという不都合がある。これに対し、非接触方式は、ほとんどの場合、人間の動作映像を撮影した後に動き情報を取り出す技術を利用する。0003接触方式の3Dコンテンツの制御方法は、ユーザーの動きを感知可能なセンサーや装置をユーザーが自ら着用して3Dコンテンツと相互作用するものである。接触方式のインタフェースの代表例としては、光ファイバ、磁気センサー、ジャイロセンサーを用いたデータグローブ、モーショントラッカーなどが挙げられる。接触方式による入力装置はほとんど商用化されている。Moveインタフェース、スペースマウスに代え得るGlobalFishインタフェース、ジョイスティックを弾性体リングを用いて製作してタッチパッドを組み込んだGroovePadインタフェースなど様々な3D物理的インタフェースが挙げられる。0004非接触方式に基づく3Dコンテンツの制御方法は、ほとんどの場合、カメラを用いて取得した映像情報から人間の動きを追跡して認識する。非接触方式は、身体部位に特定のマーカーを取り付け、視覚技術を用いて身体の動きを追跡するマーカーに基づく方式と、マーカーを用いないマーカーレス方式と、に大別される。マーカーに基づく方式は、映像のカラー、形状、発光ダイオード(LED)、赤外線などをマーカー属性として予め定めておき、そのマーカーを追跡することにより比較的に手軽に且つ迅速にユーザーの動作を追跡することができる。この方法は、映像の特徴点の取出しを相対的に速やかに行うことができるが、ユーザーは依然として不自然なマーカーを取り付けることを余儀なくされるという欠点がある。モーションヒストリーイメージなどの技法を用いてユーザーの動きの方向及び速度などを感知して動きをリアルタイムにて迅速に追跡することができ、また、光源の明るさを追跡して動きを追跡したりする。マーカーレス方式は、カメラの位置、光源の干渉、陰影などの外部要因に脆弱であるという欠点がある。0005テコンドー昇段審査は、全的に審査委員の主観的な判断により行われ、審査委員個々人の好み、気持ちなど外的要因の影響を受けやすいため一貫した基準がなく、それ故に不満が募っていた。3日)発明が解決しようとする課題0007本発明は上述した問題を解決するために案出されたものであり、その目的は、深度カメラを用いて人間の動きに関する深度情報とビジュアル情報とを取り出し、これを用いてテコンドー型を認識し、昇段審査を自動的に行う昇段審査装置を提供することである。0008本発明の他の目的は、人間のテコンドー動作の昇段基準の符合有無を判断するために標準型動作に関するデータが格納されている標準型動作データベースのデータと深度カメラから受け取った座標値とを比較して正確度を測定し、テコンドー型の連続したシーケンスを比較して合格基準の充足有無を判断する方法を行う昇段審査装置を提供することである。課題を解決するための手段0009上記の目的を達成するために、本発明の一実施形態による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置は、深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出し部と、前記オブジェクトの様々な動作を定義するための動作定義部と、前記特徴取出し部及び前記動作定義部により得られた情報を用いて前記オブジェクトの行動を認識する動作認識部と、前記動作認識部において確定された前記オブジェクトの動作の正確度を判定する判定部と、を備えることを特徴とする。0010また、上記の目的を達成するために、本発明の一実施形態による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査方法は、深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出ステップと、前記オブジェクトの様々な動作を定義するための動作定義ステップと、前記特徴取出ステップ及び前記動作定義ステップにより得られた情報を用いて前記オブジェクトの行動を認識する動作認識ステップと、前記動作認識部において確定された前記オブジェクトの動作の正確度を判定する判定ステップと、を含むことを特徴とする。発明の効果0011本発明の一実施形態による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置とその方法によれば、人間のテコンドー動作に対する正確な型を認識し、昇段審査に際して発生し得る採点及び判定エラーなどを防ぐことができる。図面の簡単な説明0012深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体構造図である。RGB−Dセンサーを用いた深度情報及びスケルトンデータを示す図である。人間の関節及び取り出されたスケルトンのパラメータを示す図である。人間が立って右手を引っ張ったときの各関節の座標からの距離値を示す図である。深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体の流れを示す図である。本発明の一実施形態による判定ステップの細部的な流れを示す図である。実施例0013その他の実施形態の具体的な事項は、詳細な説明及び図面に含まれている。0014本発明の利点及び特徴並びにこれらを達成する方法は、添付図面と結び付けて詳細に後述する実施形態を参照すれば一層明らかになる。本発明は後述する実施形態に何ら限定されるものではなく、異なる様々な形態に実現可能であり、単にこれらの実施形態は本発明の開示を完全たるものにし、且つ、本発明が属する技術分野において通常の知識を有する者に発明の範囲を完全に知らせるために提供されるものであり、本発明は請求項の範囲により定義される。明細書の全体に亘って同じ参照符号は同じ構成要素を示す。0015図1は、本発明による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体構造図である。図1に示すように、本発明のテコンドー型及び昇段審査装置は、深度カメラから入力された人体骨格、すなわち、オブジェクトから深度及びビジュアル特徴を取り出す特徴取出し部110と、オブジェクトの動作が具体的にどのような動作を示すかを定義するためにオブジェクトの動作の各々を分解する動作分解部121を有する動作定義部120と、特徴取出し部110及び動作定義部120に取り出された情報を用いて動作を認識する動作認識部130と、を備える。前記オブジェクトの深度特徴は、深度カメラから取り出されたRGBデータとオブジェクトの深度情報とを組み合わせたRGB−Dデータである。前記動作認識部130は、前記取り出された情報の動作を認識するために動作認識データベース150をさらに備える。前記動作認識データベースには、認識されたテコンドー動作に関するデータが格納されるが、そのデータとしては、騎馬立ち、左下段払い、右下段払い、左足前蹴り、右足前蹴りなどのデータが挙げられる。図10016前記動作認識部130は、動作マッチング部131と、動作分類部132と、動作確定部133という細部モジュールを備える。前記動作マッチング部131は、前記特徴取出し部110及び前記動作定義部120から取り出された情報と前記動作認識データベース150のデータとを比較して動作をマッチングさせ、マッチングされた結果を用いて動作を分類した後に動作を確定する。0017本発明による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置は、前記オブジェクトの動作を確定した後に動作のつながり(シーケンス)を判定して昇段有無を決定する判定部140を備える。前記判定部は、前記動作認識部130において認識された動作のつながりが正確であるか否かを判定するために標準型動作データベース160を備える。前記標準型動作データベース160には、一般的に知られているテコンドーの有段者の型である太極1章から8章までのデータと、有級者の型である高麗(コリョ)、金剛(クムガン)、太白(テベク)、平原(ピョンウォン)などの型データが格納されている。0018図2は、RGB−Dセンサーを介して入力されたデータの深度情報及びスケルトンを示す図である。図2の(a)は、RGB−Dセンサーを介して入力されたRGBカメライメージを示す。前記イメージには、2つのオブジェクト(人間)が現れている。図2の(b)は、図2の(a)の2つのオブジェクトに関する深度情報を示すものであり、深度カメラから自動的にセグメントされて表示される。黄色及び紫色のラベルは、セグメントされたオブジェクトを示す。reflective)領域を示す。図2の(c)は、深度カメラによって、マーキングされた領域に赤外線を投射して連結された点の反射波の強度を測定し、反射強度を用いて距離を測定し、反射強度の低い点は遠くからきたものと推定し、強度の高い点は前面にいるユーザーからきたものと推定してオブジェクトの主なスケルトンを認識したものを示す。図20019図3は、人間の関節及び取り出されたスケルトンのパラメータを示す図である。深度カメラが人間の骨格を認知する技法を用いて、人間の手首、腕、肩の動きに基づく動作を定義することができる。「左への移動」とは、右腕を用いて肩線を中心として手首及び肘が左側に移動することをいい、「右への移動」とは、左腕が肩線を基準として手首及び肘が右側に移動することをいい、「上への移動」とは、肩線よりも上に移動することをいい、「下への移動」とは、肩線よりも下に移動することをいい、「拡大」とは、両手が基準よりも外側に移動することをいい、「縮小」とは、両手が基準よりも内側に移動することをいい、「選択」とは、片手を正面に移動することをいう。このように、図3の(b)に示すように、人間のスケルトン間の連結ポイントである関節(joint)の座標の変化及び角度によって動きを判断することができる。図30020図4は、人間が立って右手を引っ張ったときの関節間の座標に対する距離を示す図である。本発明においては、人間の姿勢と動作のモデリングのために入力シーケンスの移動距離をマッチングするために標準型の連結動作を用いて各関節の距離偏差を考慮する。point)との間の経時的な距離Dr,iを計算する。point)は、原点を分析して計算する。図40021は、下記式(1)のように計算される。0022式中、0023は、左側及び右側の肩の座標値を示し、各関節のiの座標値0024は、下記式(2)のように計算される。0025式中、0026は、0027となる。各関節iの標準化された座標0028は、下記式(3)のように計算される。0029下半身に対する動作認識も、上記の上体動作を感知するための計算式と同様に計算される。0030動作は、立っている動作と、横になっている動作と、に大別されるが、これらを区別するためには、脊髄とx軸との間の角度Aspを下記式(4)のように計算する。0031式中、CUP及びClowは、前記の上体中心点の各関節の距離偏差を用いた0032の計算式及び各関節のiの座標値0033の計算式を用いて求めることができる。お辞儀(bow)などの腰をかがめる動作のためには、2種類のベクトルであるVupとVlowとの間の角度であるAup,lowを求めればよく、計算式は、下記式(5)の通りである。0034式中、Jspは、脊髄を示す。0035図5は、深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体の流れを示す図である。図50036テコンドー型の認識及び昇段のために昇段審査が始まると、人間は開始位置に立っている必要がある(S510)。開始位置は、深度カメラから少なくとも40cm〜5m以内でなければならない。人間が開始位置に立つと、テコンドー型の開始を知らせるメッセージが送られ(S520)、人間は、メッセージを見た時点から当該審査の型及び動作をカメラを見ながら行えばよい。動作を行う人間の型及び動作を正確に認識するために、人間の周りに深度カメラを少なくとも1台から最大4台まで設置する。前記型及び動作を行っている間には、前記深度カメラの深度センサー及びビジュアルセンサーにより人間が行う動作に関する特徴がリアルタイムにてユーザー動作認識データベースに格納され(S530)、前記格納されたデータは、動作の認識のために、動作マッチングステップ(S533)、動作分類ステップ(S534)及び動作確定ステップ(S535)を経て最終的に人間の動作がどのような動作であるかを認識する。0037前記認識された人間の動作は、型及び動作に関する標準データが格納されている標準型動作データベースのデータと比較して判定するステップ(S540)を経て最終的な合格有無を決定(S550)する。0038図6は、判定ステップの細部的な流れを示す図である。図60039前記判定ステップS540は、前記深度カメラから受け取った座標を予め格納されている座標値と比較して正確度を測定するステップ(S610)と、テコンドー型の連続したシーケンスを比較して判断するステップ(S620)と、合格基準の充足有無を判断するステップ(S630)と、をさらに含む。テコンドー型に対する動作のシーケンスを比較して判断するとき、前記動作の正確度の判定は、オブジェクトのx、y、z軸の座標値とこれら軸との間の角度を比較して行い、前記判定の結果、動作の正確度が60%〜100%である場合に合格を通報する。Warping)アルゴリズムを用いて動作に関するデータ値396個を定義している。最初に動きがある動作の開始点と動作が終わる終点との間に必要な値を動的時間ワープアルゴリズムを用いて396個並べる。前記正確度を測定するステップ(S610)においては、動作の開始点と前記動作の終点との間に必要な値を動的時間ワープアルゴリズムを用いて並べたデータを用いて求め、前記座標値及び前記並べたデータを用いて正確度を求める。付加して実施可能であるということは、当該技術分野における通常の知識を有する者であれば容易に理解できる。付加による実施が以下の添付の請求範囲の範囲に属するものであれば、その技術思想もまた本発明に属するものとみなす。ページトップへこの技術を出願した法人この情報を共有FacebookTwitterGoogle+LinkedInこの技術を発明した人物この情報を共有FacebookTwitterGoogle+LinkedInページトップへ関連する挑戦したい社会課題この情報を共有FacebookTwitterGoogle+LinkedIn癌(5大疾病)のない社会を実現する癌のない社会を実現すると、全世界の患者約1,750万人を助け、年間約760万人の亡くなる命を救うことができます。厚労省が定めた五大疾病に含まれる癌は、周囲の組織を破壊し、治療が遅れると全身に転...最終更新日:2018/06/11高い食料自給率を実現する高い食料自給率を実現すると、国内での食料の安定供給や、他国の問題による食料不足などの問題を防止する可能性が高まります。イノベーションを導く多くの企業が膨大な労力と費用をかけて新たな市場や事業を生み出そうとしている中「イノベーション」にかかわるデータのニーズはかつてないほどの高まりを見せいます。2019/09/19)【課題】ゲーム画面が表示されたタッチパネルを用いてプレイヤがゲーム操作を行うゲーム装置において、プレイヤがより容易に操作可能なユーザインターフェイスを提供する。