本研究室の研究分野のひとつには、コンピュータビジョン(CV)という分野があります。これは、コンピュータがカメラ画像をいかに「理解」するかという研究分野です。スマホカメラの顔認識や、アプリでの文字認識は、まさにCV研究の賜物ですね。ところで、CV研究の着眼点は以下のように3つに分けることができます。撮影した画像に対していかに有効な情報処理を施せるかは、CVにおいて重要なトピックとなります。どんな風にシーンを撮影して画像を生成するかによって、その後の画像処理も変わってきます。一般的な画像は、3次元の現実空間を2次元に射影したものです。画像が持つ情報は、現実空間の情報をある程度削ぎ落としたものになります。そこで、画像だけではなく、画像が生成されるまでのシーン中の光の物理現象も考慮することで、よりリッチなパラメータから画像を理解できます。CVの研究は1のみで行われるイメージが強いかもしれませんが、実際は2や3の知識も重要です。今回は「2光学機器の動作原理」に着目した研究を紹介したいと思います。プロジェクタの投影画面を指先で操作できるタッチセンシング技術を開発~直接触れずに空中で指示する応用も実現可能~どこでもタッチディスプレイ化に期待http://www.naist.jp/pressrelease/2021/08/008181.html今回紹介するのは、壁や床に投影したプロジェクタ映像に対してタッチ操作ができるように、タッチセンシングを実装した研究です。当然ながら、壁や床にはセンシング機能はありません。そのため、本研究ではカメラで撮影した画像を使って、コンピュータに指のタッチ位置を「理解」してもらいます。具体的な流れは以下の通りです。指がどの部分にタッチしているかを判別するCV研究では、画像から手を検出する技術がすでに存在します。google社のmediapipeなどが有名です。用途がプロジェクタ映像へのタッチセンシングとなると一筋縄ではいきません。1枚の画像では、指が実際にタッチしているのか、それとも空中に浮いているのか、判別が困難であるなどといった課題があります。そのため、今回の問題設定だと、実物の手を検出するのは非常に難しいタスクとなります。これを近年のトレンドで解決しようとすると、深層学習など複雑なアルゴリズムを駆使してコンピュータに画像処理を頑張ってもらうなどが挙げられます。一方で本研究では、撮影システムを工夫してシンプルな画像を生成することで、コンピュータに簡単な問題を渡すというアプローチを取りました。以下の画像をご覧ください。左側2つはカメラで普通に撮影した画像、右側2つは本研究で撮影した画像です。(d)は同じシーンを撮影しています。見ての通り、本研究のアプローチでは指だけが撮影されており、投影映像や周囲の背景は撮影されません。左側2つでは指がタッチしているかしていないかを判別するのは難しいですが、右側2つでは容易に判別することができます。これは撮影システムの設計を工夫することで実現されました。本研究では、カメラの撮影システムを工夫することで、上の図における赤いエリアだけを撮影します。撮影エリアを赤いエリアに限定することで、指が面にタッチすると指の一部が写り、指がタッチしていなければ指は写らない、という撮影をすることができます。指がタッチしているときには指の一部だけが撮影され、それ以外は何も写らないという画像を撮影することで、指を検出するための画像処理がとても簡単になりました。今回は概念的な説明に留めましたが、具体的にどうやって赤いエリアだけを撮影するのか詳しく知りたい方は、本研究に関する論文をご覧ください。https://ieeexplore.ieee.org/abstract/document/9495800また、最初に説明したように、CV研究は画像処理だけでなく、物理学やハードウェア設計からのアプローチも存在します。光メディアインタフェース研究室では、いずれのアプローチでも研究を行っています。