VR/AR両対応スマホの使用感とは?凹(hecomi)テック※本稿は個人開発者である@hecomi氏の寄稿レビューです。こんにちは、凹(hecomi)です。個人ブログである「凹みTips(http://tips.hecomi.com/)」にて、色々なガジェットやプログラムの紹介をしています。JAPAN社よりお借り受けできたため、メインとなる機能の一つであるTangoを中心に、そのスペックや使用感のレビューに加え、アプリの紹介から実際にアプリケーションを作成してみた所感までを記事にしました。AR」が発表されました。Pro」に次ぐ2台目のものであり、Daydreamにも対応するスマートフォンとしては初のものになります。日本での発売は2017年夏を予定しています。本機はエンジニアリングサンプルのため、実際に日本で発売する製品と仕様が異なる可能性があります。Daydreamに関しては、今回はレビューは残念ながら見送りとなります。×1440)となります。Plusよりも軽いです。バッテリーは3,300mAhと多めです。821を搭載しており、RAMも現行機最大の8GB(ZS571KL-BK128S8)および6GB(ZS571KL-BK64S6)のモデルが用意されています。今回お借りしたエンジニアリングサンプルは後者になります。背面には、モーショントラッキングカメラ、深度カメラ、2,300画素のメインカメラの3つのカメラからなるTriCam(トライカム)システムが搭載されています。所持していないため使用感の比較は出来ませんが、スペックの数値上はプロセッサの性能等の面で上回っています。4,050mAh開封してみたコンパクトなパッケージに入っており、蓋を開けると本体が入っています。S6と比べてみても少し大きなサイズです。裏面はザラッとしたマットな仕上がりとなっており、トライカムシステム部だけ少し厚くなっています。薄く軽いため、画面下部を持っても重心が気になる感じはしません。付属品としてACアダプタ、USBケーブルに加え、イヤホンも同梱されています。小さな箱が入っており、ここにCardboard用のレンズが入っています。同梱されていたレンズを本体が同梱されていた上蓋に取り付けるとCardboard用のゴーグルになります。手順が少なく組み立てられるのと、使い終わったら簡単に折りたたんで元に戻せる点がかなり良く出来ています。カメラ用の穴は開いていないので、位置トラッキングが出来ない点だけが残念です。最後に、再度本体に戻って注目のトライカムシステムを搭載したカメラ部を見てみます。中心部上段の小さなカメラがメインカメラ、下段の大きなカメラがモーショントラッキングカメラになります。Trackingでは、IMUによる位置姿勢推定に加え広視野角のカメラを使うことにより、より正確なトラッキングを可能にしています。メインカメラよりも口径が多いのは広視野角にするための魚眼レンズのためだと思われます。右の黒く見える四角い部位が深度カメラになります。ARでは、深度カメラとしてToF(Time-of-flight)方式であるインフィニオンテクノロジーズ社のREAL3イメージセンサチップを採用しています。これだけの機能がこの薄い筐体に収まっているのは驚きです。Tangoアプリで遊んでみたまずは既存のアプリで一通り遊んでみました。ARでは処理落ちすることなく大変スムーズに動きます。そのもののレビューからは少し逸れてしまいますが、どういった体験が現在可能なのか把握しやすいと思いますので、試してみたものの中からいくつかご紹介します。Tangohttps://www.youtube.com/watch?v=lRmHJ0o481gダウンロード:https://play.google.com/store/apps/details?id=com.google.tango.discovery&hl;=jaセットアップ時に体験することになるデモです。最初はカメラを通して周りが見えている状態から始まりますが、周囲を認識している様子が白い点で表示され、しばらくすると完全に別の世界に移ります。Tango無しデバイスと異なり位置も認識するため、歩いて近づいてオブジェクトを眺めることも出来ます。最後は再度実際の周囲の映像が見えるようになり終了となる2分弱の体験になります。Worldhttps://www.youtube.com/watch?v=ClVARz5fGdQダウンロード:https://play.google.com/store/apps/details?id=com.schellgames.dominoworld&hl;=jaドミノを自由に作れるアプリです。右下のCREATEボタンを押しながらデバイスを動かすことでその中心位置にドミノを置くことが出来ます。床や机にドミノがくっついて影が落ちている様子はかなり面白いです。後述しますが、Tangoは事前に学習した空間でない場合、誤差の蓄積による位置ずれが生じるため、そこを上手く補正する方法も仕組みが入っているのも面白いです。WOORLDhttps://www.youtube.com/watch?v=81h2ERO7wGgダウンロード:https://play.google.com/store/apps/details?id=com.Funomena.TangoWoorld&hl;=ja部屋の中に芽や太陽や雲といった色々なアイテムを置いてインタラクションできるサンドボックスゲームです。部屋をスキャンした後、各物体の表面に芽やキノコを生やしたり、太陽や月を置いて成長させてまた新しいアイテムを手に入れたり、手に入れたアイテムで部屋をデコレーションしたりといった色々な事ができます(公式動画はこちら)。HoloPainthttps://www.youtube.com/watch?v=-43z6Sgr7mQダウンロード:https://play.google.com/store/apps/details?id=com.moback.HoloPaint&hl;=ja空間に絵を描けるシンプルなアプリです。右下の黒い丸を押しながらデバイスを動かすと、デバイスの中心に線が引けます。ものに近づいた場合はその表面に絵を描くことが出来ます。空間にメモを残して置けるようで楽しいです。Sceneshttps://www.youtube.com/watch?v=jUO2zprx4RQダウンロード:https://play.google.com/store/apps/details?id=com.matterport.capture&hl;=ja3Dキャプチャのデバイスやソリューションを手がけるMatterport社によるアプリです。部屋を歩き回るだけでリアルタイムで周囲を認識した点群を統合し、部屋を再構築してくれます。点群が多くなってくると処理が重くなりますが、動画を見て頂くとお分かりいただけるように、かなりサクサクとスキャンできます。Tangohttps://www.youtube.com/watch?v=oSPI4yESYqcダウンロード:https://play.google.com/store/apps/details?id=com.milkroom.trackbuildertango&hl;=jaTangoアプリの中にはカメラのイメージを使わないものもあります。本アプリはガレージの中で様々なレールやギミックを組み合わせてミニカーをゴールまで導くパズルを解いたり、自由にコースを作って遊べるアプリになっています。ARに使われているToF方式以外に、パターン照射型やステレオカメラでも問題ありません。これによりデバイスによって得られるデプスの特性やパフォーマンスも変わってきます。ARでは実際にどの程度のデプス情報が得られるのか、パフォーマンスはどうなのか、また室内や屋外環境下ではどういった特性が見られるのか見ていきましょう。ポイントクラウド情報https://www.youtube.com/watch?v=iKswNIOxCtUかなり細かく且つ精度良くポイントクラウドが取得できています。ToF方式の性質上、黒い材質や鏡面の金属といった赤外線を吸収したり反射してしまうことでToFによるデプスの算出が難しいものもあります。黒いものが全て駄目、というわけではなく、左側のベッドではシワも含めて綺麗に取得できています。更新頻度は通常のカメラよりは低いフレームレートですが、モーショントラッキングの支援も有るため速くデバイスを動かしても使用上はほぼ気にならず、動く物体を使った遮蔽もそこそこ表現出来ると思います。m先の壁もポイントクラウドとして取得できていました。このポイントクラウドを使って、バーチャルな物体が実際の物体に遮られる表現も可能です。https://www.youtube.com/watch?v=j8XjwRSi7SUメッシュ生成https://www.youtube.com/watch?v=ty5t9TDajMsUnityのサンプルを使用してメッシュの生成も行ってみました。最終的にはかなりのポリゴン数があると思いますが、これらが視界に入った際でも30fps程度で動いていました。キャラクタをこのメッシュに沿わせて動かしたり、影を落としたり、物体の向こう側で回り込まないと見えないようにしたり...といろいろ出来ると思います。Learning」と呼ばれる機能があります。空間を学習させておくことで、後でその学習した情報をロードしたときに、以前置いたのと同じ位置にものを置いたり、モーショントラッキングの誤差を補正したりすることが可能になります。これはちょうど人間が、一度訪れたことのある場所に行った時にものの配置を思い出すことが出来たり、しばらく下を向いてぐるぐる歩いた後に顔をあげても、どの向きを向いているか把握できたりすることに対応しています。動画では、予め私の部屋を学習させておくことで、自分が激しく動いた後も、各場所に配置したピンが誤差なくその場に留まってくれる様子を示しています。いった学習した情報を共有することで、場所の案内をしたり、他の人とバーチャルなオブジェクトを共有したりすることが可能になります。屋外利用https://www.youtube.com/watch?v=ZaUWhCiTXDQ雲のない晴天の日の昼過ぎ(14時台)に試してみました。ToFの性質上、太陽光や白熱電球といった赤外線を含む環境下の計測が難しいため、予想通り日の当たった場所の計測は難しく、トラッキングがロストしてしまいました。https://www.youtube.com/watch?v=EZAe4A4proEしかしながらアスファルト程度のものであれば晴れの日でも足元の距離くらいであれば結構精度良く取れるようです。道を少し歩いてみましたが綺麗にメッシュ生成出来ていました。C、Java、UnityのSDKが用意されています。2017において、今後Unityエンジン本体に統合されることが発表されたため、将来的に開発はより簡単になるものと思われます。Unityでの開発は現状でも比較的簡単で、SDKをダウンロードしサンプルシーンを参考に色々作ることが出来ます。モーショントラッキングを使うだけであればコードは不要です。SDKに含まれるサンプル以外にもCardboardの連携やマルチプレイのサンプルもGitHubに公開されています。ARを折角お借りしているので、Tangoを使った実用的なアプリのデモというコンセプトで、Unityを使って簡単な家電をARで操作するものを作成してみました。ARを使ったスマートリモコン、と考えると結構面白いのではないでしょうか。Daydream両対応の唯一のデバイスでありながら、重さも軽く電池持ちも良い、普段使いのスマートフォンとしても申し分ない非常に面白いデバイスだという印象でした。今後のDaydreamとの連携にも注目していきたいですね。夏の発売時には是非購入する候補の一つとして考えてみてはいかがでしょうか。・3Dデータを手軽にVRへ。