【課題】モニタ画面の周囲にいかなる物理的なマークや付加装置を装着することなく、任意のモニタに適用可能なポインティング装置を提供する。【解決手段】ポインティング装置は、マーク(mk)をモニタ画面(mo)に出力するマーク出力部と、該マーク(mk)を撮影するカメラ(ca)と、該カメラ(ca)によって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、を含んで構成されるものであって、既存のポインティング装置とは異なり、任意の種類のモニタに使用可能であり、別途の物理的なマークや追跡装置をモニタに装着せずに、マークをモニタ画面に出力し、ポインティング作業が可能である。0002】カメラを装着したリモコンやペン状のポインティング装置で、モニタ画面に出力される特定マークを撮影してそのマークを認識し、カメラを装着したポインティング装置が画面のどの点に向いているかを知り、マウスカーソルのようなポインタの座標を変化させるポインティング装置に類似したものとして、特許文献1がある。前記特許文献1は、モニタ周辺に光源を装着し、カメラでその光源を撮影して形態を認識し、ポインティング作業を行う方式である。【0004】しかしながら、前記特許文献1は、モニタ周辺に光源を装着し、光源に電源を接続しなければならないという短所がある。電子黒板に使われるポインティング装置の場合は、ポインティング装置の追跡のために、超音波や赤外線発生装置をモニタ画面に装着しなければならないという短所がある。PDAやタブレットコンピュータに使われるスタイラスペン状のポインティング装置の場合は、モニタ画面に圧力を感知させたり、または磁場を感知する特別の装置を必要とする。本発明は、前記の既存のポインティング装置のように、モニタ周辺に光源や超音波発生装置のような付加装置を装着しなければならないという欠点を解消するためになされたもので、その目的は、モニタ画面の周囲にいかなる物理的なマークや付加装置を装着することなく、任意のモニタに適用可能なポインティング装置を提供することである。本発明は、前記目的を達成するために、モニタ画面の周囲に物理的なマークや付加装置を装着する代わり、モニタ画面に特定のマークを出力したり、コンピュータやデジタルTV画面映像自体をマークとして使用し、カメラでそのマークを撮影して映像処理部で認識し、ポインティング作業を行う構成を提供するものである。具体的には、本発明によるポインティング装置は、マークをモニタ画面に出力するマーク出力部と、前記マークを撮影するカメラと、前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、を含むことを特徴とするものである。本発明によるポインティング装置を使用すれば、モニタディスプレイにいかなる付加的な装置を追加することなしに使用可能なために、現在商用化を控えている巻き物のように巻き取ることのできる電子紙型ディスプレイに適用し、既存のタブレットパソコン(PC)に、スタイラスペンで文字や絵を描くように使用できる。このような方式で、物理的なノートや手帳を、本発明によるポインティング装置を使用した電子紙形態のディスプレイで代替可能である。本発明によるポインティング装置をリモコンや銃の形態にして、デジタルTV画面に表示されるカーソルを移動させ、またはゲーム画面中のカーソルを移動させ、射撃ゲームを含んだ任意のゲームを行うことも可能である。【図1】本発明の実施例を示した図面である。【図2】左側に移動するマークを示した図面である。【図3】任意方向に移動するマークを示した図面である。【図4】モニタ画面を多数の四角形領域で分けた様子を示した図面である。【図5】マーク映像を示した図面である。【図6】図5の白黒反転映像を示した図面である。【図7】バーコードが二次元マトリックス形態で配列されたマークを画面に出力中の様子を示した図面である。本発明によるポインティング装置は、モニタ画面にマウスカーソルのようなマークを出力するマーク出力部、前記マークを撮影するペンやリモコンまたは銃形態のカメラ、前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部を含むことを特徴とする。前記映像処理部は、例えば、コンピュータやデジタルシグナルプロセッサ(DSP)で実行される映像処理プログラムにより構成することができる。マークは、マイクロソフト社のウインドウズのようなグラフィックOSに使われる矢印や、手の形態をしたマウスカーソルをそのまま使用してもよいが、四角形、円または任意のアイコン状の本発明固有のマークを使用してもよい。既存のマウスカーソルをマークとして使用する場合、マーク出力部は省略可能である。ゲームプログラムに使われる特殊なカーソルをユーザがプログラムを介して登録して使用してもよい。マークの形態や色相に対する制限はなく、映像処理部で認識可能であるならば、マークはいかなる形態でもよい。図1は、タブレットパソコン形態のモニタ画面(mo)上に矢印状のマーク(mk)を出力し、スタイラスペン状(以下「ペン状」という)のカメラ(ca)で前記マーク(mk)を撮影してポインティング作業を行う本発明によるポインティング装置の様子を示している。図1において、モニタ画面に表示されているマーク(mk)をペン状のカメラ(ca)で撮影し、マークを移動させようとする方向に絵を描くように、ペン状のカメラを移動させる。それにより、撮影された動画映像において、マークは動画映像の外部方向に移動することになる。このような映像において、映像処理プログラムは、マークの移動方向を検出し、マークが映像の中心に来るように、当該マークの位置を調整する。図1に表示されているように、水平線をx軸、垂直線をy軸としたとき、ペン状のカメラをx軸方向(dx)に移動させれば、カメラで撮影された映像において、矢印マーク(mk)は、図2に表示されているように、−x軸方向(−dx)に移動する。それにより、映像処理部は、マークの位置をx方向に少しずつ増加させる。vector)を求め、マークが映像の中心に来ることができるように、マークのカーソルの座標を適度に変化させる。【0017】ここで、前記マークの位置は、マウスポインタやジョイスティックのポインタに該当する。それにより、ペンに沿ってマークがついてくるようになり、ポインティング作業を行える。撮影された映像で、マークが映像の中心に位置しているならば、それ以上マークの座標を変化させない。以上の説明では、説明の便宜上、x軸方向に動くことを例に挙げたが、任意の方向に対しても、同一に動作する。ペン状のカメラをモニタ画面に向かわせ、任意の方向(dx,dy)に移動させれば、映像処理部では、撮影された映像で、マークが中心から外れた程度と方向(−dx,−dy)とを検出し、マークが映像の中心に来ることができるように、マーク位置を変化させる。撮影された映像で、マークを認識できなかったならば、現在のマーク位置を維持する。【0019】また、マークの形態とサイズとを認識し、カメラとマークとの距離と方向とを算出することによって、三次元ポインティング作業を行うこともできる。撮影された映像で認識したマークのサイズが小さければ、それはカメラとマークとの距離が遠いことを意味し、撮影された映像で認識したマークのサイズが大きいならば、それはカメラとマークとの距離が近いことを意味している。このような距離情報を、既存のマウスカーソルの二次元座標(x,y)に、図1に表示された第3座標値zとして付け加え、(x,y,z)のような三次元ポインティング座標を算出することもできる。【0020】さらに、撮影された映像で、矢印マークの矢印方向を検出することによって、ペン状のカメラが回転した角度も検出し、図1に表示された回転座標(r)として入力することが可能である。矢印をなす特徴点(例えば、矢印多角形の頂点)がなす多角形のゆがんだ程度を分析し、ペン状のカメラがモニタ画面に向かった方向も検出して入力することができる。【0021】このような方向検出方法は、多角形の一例として、四角形を使用した韓国特許第10−0532525−0000号公報(カメラを利用した三次元ポインティング装置)に説明された直観的な方法を使用してもよく、数学的な公式を使用してもよい。problemという分野で公知の方法である。この方法は、相対位置が知られたn個の点を撮影し、撮影されたn個の点から、カメラとJUMとの相対位置を求める問題である。これについての説明は、「http://homepages.Inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARBLE/high/pia/solving.htm」で得ることができる。本発明によるポインティング装置でポインティング作業をしている最中に、ポインティング装置のカメラを、モニタ画面ではない他の場所に向けた場合には、モニタ画面のマークを撮影できずに、モニタ画面に表示されるマークは、そこに停止することになる。この状態で、カメラをマークがある場所に持っていけば、そのときからマークが撮影され、マークが動くカメラについて来ることになるが、もしカメラをマークがない画面上の他の場所に持っていけば、マークを撮影できずに、相変らずそこに停止することになる。【0023】すなわち、ユーザは、しばらく中断したポインティング作業を再び始めようとするならば、カメラをマークが存在する場所まで移動させねばならない。これは非常に面倒なことである。これを解消するために、ポインティング装置にリセットボタンを設け、ユーザがそのリセットボタンを押せば、マークを、カメラが向かったモニタ画面のポインティング地点に自動的に移動させることが望ましい。このようなリセット機能の詳細な構成は次の通りである。【0024】すなわち、リセットボタンを押したり、ある原因によってソフトウェア的にリセット信号が発生したら、マーク出力部は、モニタ画面を、図4のように、マトリックス状の多数の領域に分け、各領域の中心にマークを順次に移動させる。図4において、モニタ画面は6行6列のマトリックス状の領域に分けられている。この場合、マーク出力部は、0行0列の四角形領域にマークを出力させ、マークを順次右に移動させる。マークが0行5列まで移動したら、1行下に移動し、1行0列から1行5列に、すなわち左から右にマークを移動させる。これにより、6x6=36個の領域を通過するようにマークを順次移動させれば、移動中のある瞬間にカメラにマークが撮影されて認識される。その瞬間から、正常なポインティング作業を始めればよい。【0026】なお、先に説明した6x6個の領域は一例であり、実際には、マークのサイズとカメラの視野角とに適当な領域の数を選択すればよい。このようなマークの移動は、目障りでありうるので、非常に速い速度で移動させ、カメラは、高速カメラを使用することが望ましい。リセットボタンを省略し、カメラで撮影された映像において、マークを認識できない場合、無条件にこのようなマーク移動を行うこともできる。前記実施例1では、カメラがモニタ画面にほとんど接するほどに近接してカーソルマークを撮影する方式について説明した。モニタ画面から遠く離れたところで、カメラにモニタ画面を撮影させれば、カーソルマークがあまりにも小さく撮影され、認識し難くなる。そのような場合には、カメラのレンズに、望遠レンズを使用すればよい。このとき、焦点が合わなければ、カーソルマークがぼやけて撮影され、認識を行えないので、現在実用化されているデジタルカメラに使われる、自動的に焦点を合わせる装置をさらに含むことが望ましい。【0028】そして、カメラとモニタ画面との距離が可変的である場合にも、良好にポインティング作業を行うためには、ズームレンズを使用することが望ましい。このような構成を採る場合は、カメラとモニタ画面との距離を測定する装置をさらに含み、その装置で測定した距離情報を利用してズームレンズを調整し、カーソル映像を常に鮮明であって大き目に撮影することが望ましい。このような構成によると、本発明によるカメラを使用したポインティング装置は、モニタ画面に接触する一般のライトペンのように使用することもできるし、モニタ画面から遠く離れても、リモコンのように使用することもできる。前記実施例1では、カメラがモニタ画面に非常に近接した状態で、マウスカーソル用アイコンと共に既定のマークをモニタ画面に出力する方式である。本実施例3では、カメラがモニタ画面から遠く離れており、そのような既定の一定形態のマークがない場合に、ポインティング作業を行う構成について説明する。【0030】かかる構成は、任意の映像がモニタ画面に出力中である場合に、その映像情報を映像処理部に伝送し、マークの代わりに使用する方式を採用したものである。現在モニタ画面に出力中である映像全体が実施例1のカーソルマークに該当する。この場合、カメラは、モニタ画面の全領域を一度に撮影できるほど、モニタ画面から適当に離れていることが望ましい。映像処理部では、毎瞬間撮影された映像から、現在モニタ画面に出力中である映像を検出し、その映像の枠である四角形を分析し、カメラとモニタ画面との三次元相対位置と距離とを算出する。この構成を採るためには、現在モニタ画面に出力中である映像を得てきて映像処理部に伝送するモニタ映像伝達部を追加しなければならない。SysRqキーを押し、モニタ画面に出力中である映像をウインドウズXPのクリップボードにキャプチャする方法をソフトウェア的に実行することである。SysRqキーが押されることをエミュレーションするプログラムを実行すれば、モニタ画面の映像を得ることができる。キーボードのエミュレーションプログラムは、一定の時間間隔(例えば、1/30秒)ごとにモニタ画面をキャプチャし、クリップボードにモニタ画面の映像を保存する。【0033】そして、映像処理プログラムでは、クリップボードから映像を読み取って、カメラで撮影された映像と比較することにより、撮影された映像のうち、どこにモニタ画面があるかを知ることができる。ハードウェア的にビデオメモリに接近する装置を構成することもできる。vision)技法がある。【0035】モデル基盤ビジョン技法は、与えられたイメージ(カメラで撮影された映像)で、予め知られたモデル(モニタ画面に出力中である映像)の位置と対応点とを探す技法である。し、実際に撮影された映像の領域と最も好ましく対応する地点を探すものである。vision)に詳細に記述されている。本実施例3と類似した方式のポインティング装置としては、韓国特許第10−0708875号公報(「表示画面を指すポインタのポインティング位置を算出する装置及び方法)がある。この特許文献では、本来の出力映像画面に対して、四角形の枠の形態からなる人工的な基準映像をさらに出力し、その枠をカメラで撮影した映像から検出し、ポインティング作業を行うようになっている。かかる人工的な基準映像の枠は、ユーザに目障りになるという短所がある。これに比べ、本実施例3は、そのような人工的な基準映像の枠を出力せずに、モニタ映像伝達部を介して得た本来の出力映像自体をマークとして使用して認識する方式である。本実施例4では、前記実施例3で使われるモデル基盤ビジョン技法を、さらに容易に行うために、モニタ画面のちらつき(flicker)を利用する構成について説明する。【0038】すなわち、撮影された映像からモニタ画面領域を求めることは、モニタ画面の背景が単純な場合(例えば、広い白い壁面に映像をビームプロジェクタで投射する場合)、比較的容易に行うことができるが、背景が複雑な場合、背景からモニタ画面を区別し難いことがある。image)を出力し、奇数番目(1,3,5,...)のフレームのみ映像を出力する。【0039】ここで、空白映像を出力するということは、モニタ画面全体またはモニタ画面の特定領域を特定色で塗って出力することを意味する。このとき、各フレーム間の時間は、十分に短く(例えば、1/30秒より短い時間)し、肉眼にはちらつきが感じられないようにすることが望ましい。その簡単な例としては、偶数番目のフレームの間には、モニタ画面全体を黒色に出力し、奇数番目のフレームには、正常な映像を出力する。image)を求める。前記差分映像は、2つの映像のそれぞれの同位置の画素値の差を求めて得られる映像であり、映像処理分野の公知概念である。差分映像の(x,y)地点の画素値は、2つの入力映像の(x,y)地点の画素値の差から得られる。それにより、カメラが停止した状態で、背景が変わっていないならば、モニタ画面の部分だけ画素値が0ではない差分映像が得られ、モニタ画面以外の部分では、差分映像がいずれも0である画素値を有するようになる。この場合は、差分映像で、画素値が0ではない領域を検出すれば、その領域が直ちにモニタ画面の領域に該当する。従って、上記のような画素値が0ではない領域に対して、モデル基盤ビジョン技法で、モニタ映像の対応点を遂行すれば、差分映像を使用しない場合より、はるかに容易にモニタ画面領域を認識できる。【0042】カメラが動いたとするならば、背景部分でも差分映像の画素値が0ではなくなるが、その領域は非常に狭い領域に制限されるので、実施例3のように、差分映像ではない本来の映像を利用し、モデル基盤ビジョン技法を適用するより、はるかに容易にモニタ領域を検出できる。【0043】また、カメラ撮影速度(秒当たりの撮影フレーム数)と画面出力速度(秒当たり出力フレーム数)とを速くするならば、カメラが動いても、ほとんどの背景領域での差分映像の画素値を0にすることができる。【0044】crtモニタのように、モニタ画面自体に走査線のスキャニングによるちらつきがあるならば、そのちらつきを撮影して差分映像を求めてもよい。ある任意のモニタ画面自体にちらつきがほとんどない場合ならば、画面出力プログラムで、適当なちらつきを具現したり、またはモニタ映像がちらつくように適切なハードウェアをモニタに追加してもよい。コンピュータのOSに画面ちらつきを調節する機能を追加することもできる。【0045】また、ゲームプログラムの画面出力方式を、偶数番目のフレームは画面全体を黒色または白色に出力し、奇数番目のフレームは、正常なゲームグラフィック映像を出力するようにすることができる。このとき、各フレームの出力瞬間と、カメラで撮影されるフレームとの間を同期化させることが望ましい。数番目のフレームをモニタ画面に出力した直後に、カメラでモニタ画面を撮影し、次に、奇数番目のフレームをモニタ画面に出力した後、カメラでモニタ画面を撮影し、以前フレームを撮影した映像と、現在フレームを撮影した映像との差分映像を求めるのである。この場合、前記ちらつきを具現する部分が、実施例1のマーク出力部に該当する。この場合、マークは、2つのフレームにわたって出力される空白映像と正常な画面映像とに該当する。本実施例5では、前記実施例4と同様に、偶数番目のフレームには、特定マークの映像を出力し、奇数番目のフレームには、正常な本来の出力映像を出力して偶数番目のフレームの映像だけ撮影し、その撮影した映像を映像処理部で認識してマークを検出し、ポインティング作業を行う構成について説明する。【0047】すなわち、前記実施例4では、偶数番目のフレームには空白映像を出力したが、本実施例5では、例えば、図5のように、上辺中央が空いた四角形と、その四角形中心に位置した+状のマークとを出力することを例として説明する。図5において、四角形中心の+は、マークの中心を早く検出するためであり、一方、四角形は、三次元ポインティングを行うためのものである。四角形の上辺が空いているのは、カメラの回転状態を検出するための基準点を表示するためのものである。このような図5のマークの形態は一例に過ぎず、いかなる形態のマークを使用してもよい。【0049】このような方式は、前記実施例3で説明した前記特許文献(韓国特許第10−0708875号公報(「表示画面を指すポインタのポインティング位置を算出する装置及び方法」))とある程度類似している。前記特許文献では、マークを本来の出力映像上に合成して出力するので、本来の映像部分が識別され、映像処理部でマークを検出し難いという短所がある。【0050】これに比べ、本実施例5の方式によると、本来の映像とマーク映像とが時間差をおいて、互いに異なるフレームに出力され、映像処理部ではマーク映像のフレームのみ分析すればよいので、はるかに容易にマークを検出できる。本来の映像がマークによって識別されないという長所がある。このとき、マーク映像が出力される頻度数は、本来の映像が出力される頻度数に比べて小さくすることができるので、肉眼ではマーク映像が見えないようにすることが望ましい。偶数番号目のフレームのうち、フレーム番号が4またはそれ以上の偶数の倍数である場合にだけマークを出力し、残りのフレームは、正常な映像を出力する方式である。前記実施例5では、マーク映像が肉眼に見えないようにするために、マーク映像の出力フレームと本来の映像の出力フレームとの映像出力頻度数を調整した。本実施例6ではそのようなマーク映像とそのマーク映像を反転させた映像(例えば、白黒反転)とを交互に出力することによって、肉眼ではマーク映像とその白黒反転映像とが合わさり、全体的にマーク形状が消えた空白映像(全体が灰色の映像)に見えるようにする方式について説明する。マーク映像は図5のように白い土台に黒色マークであり、その白黒反転映像は図6に示されている。このようなマーク映像とその反転映像とを交互に速く反復して順次出力すれば、肉眼では2つの映像が重なって全体的にマークが消えたように見えることになる。具体的には、フレーム番号を3で割った余りが0である場合は、マーク映像を出力し、余りが1である場合は、マークの反転映像を出力し、余りが2である場合は、正常な画面映像を出力する。映像処理部では、余りが0であるフレームを撮影してマークを検出し、ポインティング作業を行う。【0053】この場合、マークが肉眼に見えないようにするために、マーク映像のフレームとその反転映像のフレームは、時間的に隣接して順次出力することが望ましい。マーク映像とその反転映像のフレームの出力頻度数は、本来の映像フレームの出力頻度数よりも少なくすることが望ましい。フレーム数を10で割った余りが0であるならば、マーク映像を出力し、余りが1であるならば、その反転映像を出力し、余りが2ないし9であるならば、正常な画面映像を出力することが望ましい。本実施例7では、前記実施例1のように、ペン状のカメラでタブレット形態のモニタ画面に文字を記入するように使用するポインティング装置に、前記実施例5及び6で使われた、フレーム別に異なった映像を出力する技法を適用した方式について説明する。本実施例7の方式では、前記実施例5及び6においてマークに該当する映像で、二次元マトリックス状に配列されたバーコード映像(mkb)(図7)を使用する。ここで、バーコードは、それ自体の位置がx,y座標情報を示す。各バーコードサイズは、ペン状のカメラがモニタ画面に近接したとき、1つのバーコードが1画面に撮影できるほどのサイズであることが望ましい。図7は、そのようなバーコードのマトリックス状のマーク映像が出力される様子である。本実施例7の方式でも、前記実施例5及び6と同様に、マーク映像と本来の映像とを交互に出力する。映像処理部では、そのマーク映像のバーコードを認識し、バーコードからそのバーコードの座標が分かる。それにより、その座標が現在ペン状のカメラが向かっているモニタ画面上の座標に該当する。その座標を使用し、ポインティング作業を行うことができる。【0057】これと類似の技術は、韓国特許公開第10−2007−0015230号公報(「イメージ感知オペレーター入力装置」)に(「絶対位置装置でのマウスの使用」)欄に紹介されている。前記特許文献は、マウスパッドにバーコードマトリックスを印刷し、マウス底のカメラでバーコードを撮影し、絶対座標を入力する装置である。これに比べ、本実施例7のポインティング装置は、モニタ画面上に肉眼で見えないように、バーコードマトリックス状のマークを出力する方式である。別途のマウスパッドが不要な簡単な構成であることを特徴とする。本実施例7は、マークの形態がバーコードのマトリックス状である点と、カメラとモニタ画面との距離が近いという点とを除いて、具体的な残りの動作方式は、前記実施例5及び6と同一である。ここで、バーコードの代わりにその他のマークや数字を使用してもよい。数字やアルファベットをバーコードの代わりに使用してもよい。それぞれのバーコードを含むセルを表示する四角形の枠を、図7のように方眼紙の如く表示し、その方眼紙のセルの四角形のゆがんだ形態とサイズとを認識することによって、三次元ポインティング作業を行うこともできる。本実施例7は、前記実施例1で必要なリセット機能が不要であるという長所がある。これに比べ、前記実施例1は、カメラの撮影速度がそれほど速くなくともよいという長所がある。本実施例7は実施例1に比べ、撮影速度が速いカメラを必要とする。前記映像処理部は、マーク映像を撮影した映像からマークを認識し、ポインティング座標を算出することを特徴とするカメラとマーク出力とによるポインティング装置。前記映像処理部は、マーク映像を撮影した映像からマークを認識し、ポインティング座標を算出することを特徴とするカメラとマーク出力とによるポインティング装置。前記マーク映像は、二次元xy座標値を表すパターンが、二次元マトリックス状に配列された映像であることを特徴とする請求項1または請求項2に記載のカメラとマーク出力とによるポインティング装置。ekouhou.net。