ブログ@kaorun55スマートフォン用の表示で見るブログ@kaorun55HoloLensやKinectなどのDepthセンサーを中心に書いています。Tokyoといった大きなイベントで登壇することができました。3月に日本でも発売開始になるので、こちらをぼちぼちまとめていこうかと思います。2用にまとめなおすのはアリかもしれないけど)会社の方はだいぶお任せできるようになってきたので、2020年は開発の時間を増やしたいところです。結果的に2018年のふりかえりに書いてたオフロードはおおよそできている状態になったかなと。2020年の目標としては、手を動かす時間を増やすことになります。新しいものがたくさん出てくるので、それにちゃんとついていかないと。イベントページはこちらtmcn.connpass.com当日のまとめはこちらtogetter.comホロラボで5台調達できて色々触っていたのですが、Twitter見てると見てみたい、触ってみたい方が多かったので急遽開催してみました。デザイニウムでも3台調達できたでので、7人の開発は1人1台+見学用に1台という、この時期で豪華な買いになりました。スタッフ含めてご協力いただいた方に感謝します。v2までのゲームコントローラーからブランディングを変えたことで、いままでHoloLensを扱っていたお客さんも興味を持ってくれるようになりました。2と同様にいい場所に配置されたのではないかと思っています。Sync(外部同期)という機能があります。DKのPVにも複数台をつなげる描写があるので、複数台を使った空間スキャンのシナリオが考慮されていることがわかります。このエントリでは外部同期の手順について解説します。DKをオーディオケーブルで接続し、Depthのシャッターを同時に切ることができます。DKで同一タイムスタンプのDepth、IRのデータが生成されるので、同じタイミングでの空間スキャンができます。タイムスタンプが同一なので、それぞれのデータをクラウドにアップして後処理するなどの利用が考えられます。ポイントは下記になりますタイムスタンプが同期されるのはDepthとIRのみ、ColorとIMUは完全に同期しない。DKのファームウェアは同じバージョンを使用すること。DKが1PCに接続されている必要はない(別々のPCでも同期する)。同期は10m以下の3.5mmのオーディオケーブル(モノラルでもステレオでもOK)を使用する。ヘッドフォンのスプリッタでケーブルを分岐させてもOK。DKは1台のマスターと1台以上のスレーブから構成される。スレーブは8台まで、マスターを含めて9台までは動作が確認されている。DKはスレーブから起動し、最後にマスターを起動する。DKはOutからスレーブのInに接続する。マスターのInには接続しない。3台以上を同期する場合にはスレーブのOutから次のスレーブのInに接続。マスターのOutを分岐してスレーブのInに接続する。オーディオケーブルを接続する場所は付属のドライバでネジを外し、ケースを外すと出てきます(めんどくさい)。Viewerを使用しても外部同期を行うことができます。デバイスを開き、ケーブルの状態を確認します。DKをSubに設定しStartします。DKはMasterがStartすると動作を開始します。DKはMasterに設定して最後にStartします。Viewerでの表示マスター(Master)スレーブ(Sub)起動してしばらくするとDepthのタイムスタンプが同じ値になります。3台以上の接続4台までの接続は確認しています。スプリッタは2分岐でも5分岐でも動作しました。エレクトロニクスこの商品を含むブログを見るまとめ外部同期することでセンサーデータの同期の保証や後処理が可能になります。DKを使う場合には導入を検討してみてください。SDKのインストールと各種ツールの使い方を紹介します。DKデータのレコーダー、ファームウェアアップデートツールなどが利用可能になります。SDKはこちらからダウンロードして、インストールします。k4arecord.dll)のみで動作します。Class)という標準ドライバで動作し間に入るサービスもないため、センサーをUSB接続し、アプリ一式のみで実行可能となります。Viewerデフォルトのビューアーです。最初の動作確認に使用します。vX.Y.Z)のtools以下にある「k4aviewer.exe」を起動します。DKの識別子)を開きます。mkv)のパスを入力(ダイアログはないのでパスをコピペしますw)してmkvファイルを選択します。DKの動作を開始する前にデバイスの設定を行います。基本的な設定としては、Depthのモード、カラーのフォーマットと解像度、フレームレートになります。DepthのモードDepthのモードとモードによる見え方の違いは下記になります。カラーのフォーマットと解像度カラーのフォーマットと解像度は下記になります。BGRAについてはMJPEGをSDKでデコードして作成しているようです。フレームレートはDepthとカラーの最大値の小さい方に引きずられます。Control」を開くとカラーカメラの各種設定を変更できます。Sync(外部同期)外部同期の設定を行います(詳しくは後述)。同期ケーブルの接続はハード的に検出しておりSDKで取得ができます。DKの動作を開始すると、2Dでの画面が表示されます。IR、Depth、カラー、IMUとセンサー温度、マイクが取得できます。3D表示に切り替えると点群で表示されます。再生モードの場合は、自動で再生が開始され録画データのフォーマットが表示されます。recorder録画ツールです。コマンドラインアプリのため、コンソール画面やbatファイルで起動します。ドキュメントはこちらdocs.microsoft.comパラメーターパラメーターは下記の通りです。使うのはカラーモードの「-c」やDepthモードの「-d」あたりでしょうか。1080pのNFOV、Binnedは下記のようになります。nfov_bined_1.mkv1080pのWFOV、Unbinnedは下記のようになります。Viewerで再生できます。k4abt_simple_3d_viewerBodyTracking用のサンプルアプリです。SDK\tools」にインストールされます。k4abt_simple_3d_viewerはONNXを使用しているため、関連するCUDAのインストールが必要です。2015インストールに関するドキュメントはこちらです。docs.microsoft.comCUDAは10.0固定となっており、インストールしてPCを再起動することで利用可能となります。CUDAをインストールする際に、GeForceのドライバのバージョンが下がる場合があるので、最新のドライバをインストールしなおします。ZIPでダウンロードするので、展開して「cudnn64_7.dll」にパスを通すかexeと同じ場所に置きます。2015のRuntimeをインストールします(すでにインストール済みと出る場合にはそのまますすみます)。この状態で実行すると動作し、下記のキーボード操作が可能になります。layout」を有効にした状態です。2019エラーについて下記のようなエラーでしばらく動かなかったのですが、GeForceのドライバがエラーになっていたのでドライババージョンの問題だった可能性が高いです(今回はPCをリセットしてインストール手順を順に行いました)。DKの動作確認とデータの録画ができます。録画することで、アプリ開発の際に再現性のある状態にできるので、現場データの録画は開発の最初に行うと良いかと思います。DKが到着したので概要および各種リンクをまとめます。日本へは一度現地の住所に送って転送。電波は出してないので技適は対象外。www.microsoft.comURLは「en-us」にすること。「ja-jp」はNotFoundになる。Skeleteon)www.microsoft.comGitHubSDKはオープンに開発されています。github.comドキュメントdocs.microsoft.comテストデータ動きがないので微妙だけどないよりはマシwww.microsoft.com特徴こちらご覧くださいspeakerdeck.comDepth性能Depth性能が素晴らしく良い。DKのシャッタータイミングをハード的に同期させる機構。DKは複数台運用も含めて設計されていることがわかる。MVPを受賞できました。呼んでいただいたみなさん、ありがとうございました。DKが発売されるので、また楽しい一年になりそうです。Windowsだった時期もありました。MVPを再受賞しましたTweetもっと読むコメントを書く2019-06-09Beyondにてインタビュー記事が公開されています(個人編)実績TweetビジネスメディアのBeyondにて「xR(AR、VR、MR)の「ビジネス活用」最前線」というお題で全4回にわたりインタビュー記事を掲載していただきました。Beyond(ビヨンド)一応会社ブログにはリンクだけまとめたんですが、個人的な思いというか考えてることは切り離した方がいいかなと思い、こちらにもまとめます。2018年は長くても半年くらいのプロジェクトがいくつかでしたが、2019年は1年分の予算を確保していただき開発や調査にそれだけのコスト(時間、費用)をかける企業が増えてきました。→Deploy(実導入)と進んでいき、Pilot以降を見据えた取り組みが増えてきています。去年あたりから、プロジェクト数の数字などを出すようにしています。これは外からあまり見えない実態みたいなものを出していきたいという気持ちがあります。HoloLensはいろいろなところで使われ始めています。どのくらいのプロジェクトが回ってるの?という数字が見えたほうがイメージしやすいのではと思っています。2018年の数字的なところはこちらです。2019年上半期もまとめてもらったので、どこかで出せるといいとは思ってるのですが、なかなか機会がなく。単純な数字でいうと、2019年半分で2018年一年分くらいにはなってます(プロジェクト数、売り上げなど)。目的と手段HoloLensの導入は手段であって目的ではありません。目的は業務の効率化であり、業務の効率化は線であって点ではありません。第二回で「自社の業務について「めちゃめちゃ考える」こと」と入れていますが、お客さん自身が自分たちの業務を考えること自体に意味があると感じています。HoloLens?」でした。これは「なぜHoloLensでなければならないのか?」、「HoloLens以外の方法が最適ではないのか?」という問いに答えられるようにしなさいということです。これをお客さんとの会話の中で見つけ出さないといけません。お客さんとの会話は大切で、もしHoloLens以外が最適であれば、HoloLens以外を選択するという提案をすることもあります。ぼくらの仕事はお客さんの業務の課題の解決なので。業務課題の解決という意味では、点で見るとHoloLensが最適でも線で見るとHoloLens以外が最適なケースも往々にしてあります。ある業務ではHoloLensを使って改善ができるとしても、よくよくワークフローで話を聞くと、その前工程が実はボトルネックで、そこにはHoloLens以外の解決手段が適している場合があります。仕様含めて丸投げされる場合は非常に厳しいですし効果も出にくいと考えています(これはHoloLensに限らないですが)。ぼくらは技術の提供はできますが、業務プロセスに関しては素人なので、そこはお客さん側でやってもらうこと。それをベースに技術的に解決することが自分たちの仕事と思っています。いえ、多くのお客さんと話していると、課題は似ていたり、やりたいことが似ていることは多く、そういう共通項を見つけやすいことがお客さんと接している時間が長いことのメリットかなと思っています。最近ちょっと考えてるのが、デジタルトランスフォーメーションだったり出社だったりというのは、技術ではなく文化(気持ち)の面が大きく作用するのかなと思っています。デジタルトランスフォーメーションで紙をなくすといった場合に、いままで紙でやり取りしていたものが一切なくなるとして、それで業務が回るのか?という心配が変化を阻害するのではないかと思っています。人間は変化を恐れるものなので、先に不安があると変化しない方を選択します。あれば、技術的な解決と並行して、心理的な不安を取り除くというなことも必要なんだろうなとぼんやり考えています。それをしないと表面上の導入に過ぎず、時間が経つともとに戻ってしまい、本当の意味での変革にはならないと思っています。第三回にもありますが、個人的には今ビジネス向けVRをやりたいと思っています(諸々のリソースの関係でなかなか難しいのですが)。自分の中では昨今のスタンドアロンVRをVRとして見ていない節があり、HoloLensと同列に考えています。よってメリット、デメリットがあり、それぞれ排他ではなく選択肢として考えると自分の中ではすっと入ってきたりします。2になり性能も似たようになったので性能的なひっかかりは少なくなると考えています。Immersiveのスタンドアロンが出てくれることを期待していたりします。HoloLensは光学シースルーデバイスとして高性能ではありますが値段が高いことがとにかくネックになる。Questは10分の1程度に収まる。Questでも問題ない場合、単純にデバイス量で10倍は見込めます(ソフトウェアの費用は入れていませんが、そこは全体で調整すればいいのかなと思っています)。Goを17,000台購入」というのがありますが、ここまではいかなくてもまとまった台数の導入というのは非現実的なものではないかなと思っています。HolographicなどのAR/VRデバイスアプリケーション、KinectなどDepthセンサーアプリケーションの開発、講演、セミナー、コンサルティングなどを行っています。お気軽にご連絡くださいませ。kaorun55@hololab.co.jpHoloLensに関する情報はこちらブログ@HoloLabInc質問はこちらに投稿していただけると情報共有としてもありがたいです。RealSensehttps://www.facebook.com/groups/1384638088424844/最近ブログサイトを移動しました。画像が見えなくなっているページがあるかと思います。お手数ですが、ご連絡いただけると助かります。(2)スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。