Glass」を扱ってみます。Glass」のしくみと可能性こんにちは、高田です。Glass」を扱ってみます。Factory社が開発した裸眼立体視用のホログラムディスプレイです。Kickstarterでゴール比1,600%以上の資金を集め、2019年初頭から一般販売がスタートしました。Vimeo.8.9インチのStandardと15.6インチのLargeの2タイプがあり、今回手に入れたのはStandardです。親和性の高いインタラクション用のインターフェイスとしてLeapMotionがバンドルされているセットもあり、サイト上で動画を確認することができます。display"と呼ばれる技術が使われています。Factoryのブログにその構造が紹介されています。それらによると45方向からのレンダリング結果を1つの画像にデコードし通常の映像信号としてHDMI経由でディスプレイに送信、レンチキュラーレンズを通しホログラム効果を実現するとのことです。Displayにおけるレイヤ高解像度化の効用」や筑波大学の「多視点表示と体積表示を組み合わせた裸眼立体映像の研究」などで概要をつかめると思います。Glassのパテントはここで読むことができます。Glassはメガネ不要で複数人が同時に立体視を行うことができるため、様々な利用方法が考えられます。Unityでの表示が最初からサポートされているため、手元にあるUnityデータをそのまま表示させることができるのはとても手軽だと感じます。Glassへの対応を発表しました。画像の表裏に違う画像を設定出来るように致しましたので、これで遊びの幅が広がると思います。みなさん、どんどん活用してみてください。Glassで表示させてみました。このモデルは197個のパーツから構成される詳細な頭部モデルです。Glass用のカメラを設定してみましたが、レンダリングが重すぎてまったく使えない状態でした。立体視用に45方向からのレンダリングを重ねる必要があるので重くなるのは当然です。配布されているデータはかなり高解像度のメッシュなので大脳と顎部分のみの表示でも10fps以下しか出ません。そこで、メッシュの軽量化を試してみました。前述のように200近いメッシュファイルがあるので自動化します。Meshes、加えて穴埋めと法線のスムージングにMeshLabを使いました。MehesはオープンソースのRemeshツールです。動作イメージは下記のビデオを観ればつかめると思います。Jakob氏は、オープンソースの物理ベースレンダラMitsubaの開発者でもあります。MeshesでRemeshすると穴が開くことがあるので、MeshLabを使って穴を塞ぎます。MeshLabもオープンソースのメッシュ編集ツールです。モデリングツールではなく、スキャナなどで取得された高密度のメッシュデータに対して平滑化などのフィルタ処理を行うものです。この2つのツールを使ってPythonで一括処理をかけるスクリプトを書きました。conv(str(in_mesh))original_meshフォルダ以下にダウンロードしたメッシュデータを置き、このスクリプトを実行すると、remeshフォルダ以下に処理されたメッシュデータが保存されていきます。Meshでremesh処理を行い、書き出されたデータに対してMeshLabのコマンドライン版のMeshLabServerでフィルタを適用します。適用するフィルタ(filter.mlx)は下記の通りで、MeshLabで用意しました。メッシュの穴埋めを行い、法線を平滑化しています。>この処理を行なったメッシュデータをUnityにインポートした様子が下記の画像です。すべてのデータを表示させると重いので、一部のデータだけ表示しています。Glassに出力される画像は下記のようなものになります。多視点レンダリングされている様子がわかると思います。レンダリングが重いこと以外に、2つ気になる点がありました。思った以上に画像が粗く見えてしまう点と、影やポストエフェクトが反映されない点です。ポストエフェクトはしくみ的に対応が難しいのかもしれません。影に関しては設定次第な気がしますが、簡単に試した限りでは反映させることができませんでした。ほかにも制限があるかもしれませんが、とても面白いデバイスだと感じており、引き続き検証を進めていきたいと思っています。次回からは、測域センサを使ったコンテンツ開発の続きを紹介していきます。ソニー・インタラクティブエンタテインメント)でPS4のOSD開発などを経て2006年にCodelight株式会社を設立。今回は、コンテンツ開発におけるUnityとTouchDesigner、それぞれの特徴と必要な知識について考えます。/...2019.09.27第11回:デバッグと設定ファイル今回は、コンテンツ開発の過程では欠かせないデバッグと、設定ファイルの記述法について紹介します。Toshinori...2019.08.20第10回:Spoutを使ってリアルタイムに画像を共有する今回は、UnityとTouchDesignerの間でリアルタイムに画像を共有する方法を紹介します。Controlでライトを制御する今回は、通信プロトコルOSCを、Unityで使えるようにセットアップします。Takata(C...2019.05.21第8回:押しボタンの入力をUnityで取得する今回は、押しボタンの入力をUnityで取得できるように、ボタンとデジタル入出力装置とPCを接続し、設定をしていきます。TEXT_高田稔則...2019.04.18第7回:プロジェクタのキャリブレーションをする第5回から引き続き、測域センサを用いたコンテンツの制作を進めていきます。今回はプロジェクタによる投影位置をより使いやすいよう調整します。...2019.02.21第6回(番外編):裸眼立体視ホログラムディスプレイを使ってみる前回から測域センサを用いたコンテンツの紹介がスタートしましたが、今回は番外編として、今注目の裸眼立体視用ホログラムディスプレイ「Looki...2019.01.24第5回:測域センサを使ってみる今回からは、レーザー式測域センサを利用したコンテンツを考えていきます。Unityで使えるようセットアップをし、簡単なインタラクティ...2018.12.19第4回:顔検出まとめ前回は、複数人の顔を検出してお面をかぶせるところまでコードをアレンジしてみました。今回は、さらにその精度を高めつつ、他の顔検出アルゴリズム...2018.10.26第3回:複数人の顔検出に対応させる前回、顔を検出してお面をかぶせるところまでつくってみました。今回はさらにそれを発展させ、複数人の顔を検出できるようにします。TEXT_高...2018.09.21第2回:OpenCVで顔検出こんにちは、Codelight株式会社の高田です。真さんの「おいしいデ」を読みました。ハリウッドでも活躍する佐藤隆之氏がFRONTIERのクリエイター向けPCをレビュー。ハリウッドでも活躍する佐藤隆之氏がFRONTIERのクリエイター向けPCをレビュー。次の100年も愛されるフォントを創る。FIX!森田悠揮氏、マーザ・アニメーションプラネット、カヤック、萌、SNKの登壇が決定。