XAVIERTX2でYOLOがどのくらいのスピードになるか?ちょっと埃をかぶってますが、以下の動画は紛れもなくこのTX2で実行してます。使ったデータは今回の場合80クラスを認識しますが、コンピューターにとって全世界が80項目しかないので誤認識があります。ハマったものはなかなか素晴らしい結果でした。今回TX2でYOLOを実行させた結果です。画像のスピードは問題なし。XvierにインストールしたopenFrameworksでYOLOを動かしてみましたが、なかなか良い結果が出たので、じゃーTX2で実行したらどうなるのかってのが今回の実験です。TX2へのOpenframeworksのインストールはこの記事を参照して下さい。Xavierに近づけるためにマルチスレッドを利用します(OF上ではofThreadを利用)。Xavierでも裏スレッドを1個使って実現させましたが、今回は2個使います。GPUはマルチスレッド対応していないということが頭に入ってました。「微妙に時間をずらすことでGPUをうまく使えないか」ってことが今回の発想です。ここでもやはりデータ変換が鍵を握ってて、ちょっと時間がかかりましたが、なんとなく狙い通りになってるようです。yolov2.cfgの設定ですが最初の方をbatch=32subdivisions=8weight=416height=416にしました。weight、heightとも608にするのが理想的ですが、あまり認識に変化が無いようなのでスピード重視です。yolov2.cfgが何者かは、前の記事を確認して下さい。CameraのopenFrameworks側設定画像は640x480。粗い画像ですがYOLOはそれでも満足の行く結果を出してしまいます。openFrameworkeのソースは次の通りです。runしてもエラーが出る場合があります。DetectNet部分をマルチスレッドにする。DetectNet部分をマルチスレッドにする。Camは、ドローンへ搭載するために作ったモノです。全国に大規模な太陽電池発電所が建設されています。批判もあるでしょうが現実的に多く存在しています。ヒトの作ったモノは、点検が不可欠。万一故障するとパネルが他の部分より高温になるそうです。規模が大きければ不良箇所を発見することが困難。直流電流が漏電した場合、遮断が難しいため点検員の逃げ場が無くなり、かなり危険な人命を掛けた作業でもあります。そこで高解像度サーモグラフィカメラを取り付けたドローンが登場。専属の操縦士と数百万円にも及ぶ機材が必要でした。機体が大きいため万が一落下した場合、太陽電池や高価な機体の破損にもつながる非常にリスクのある作業です。受信したLEPtON3.5の合成画像が白黒で挿入されています。LEPTON3.5の160x120画素でも、この用途ではほとんど問題ない事が理解できると思います。ドローンは自動飛行!!(大澤さん撮影)これが市販の軽量ドローンで可能であれば、そして安価であれば大幅なリスク回避が可能となります。考えた方がいらっしゃって(W&TのW=渡辺さん)、たまたま私のブログを見て「こりゃー行けるかも」と思ったそうです。そのころ私も赤外線カメラLEPTON1での試行結果から、すぐに実現可能だと思っていました。ESP8266を使うことが条件。LEPTON3の特殊性やESP8266の限界、SPIの安定性、2.4Ghz帯の電波干渉、そして経験の無いAppleのアプリ審査という厳しい現実が待っていました。私たちは、専門家のいないアマチュア集団です。ブログやYOUTUBEで知り合った、仙台(小野)、大阪(渡辺)、東京(大澤)、京都の4名がそれぞれ得意分野で知恵を出し合うことになりました。全員がそろうのは1年に1回。会場の電波状況の悪さに、去年も今年も落胆と改良の日々が続きました。今までは地上では電波が伸びても上空ではダメ。家電量販店や駐車場ではESP8266が止まってしまう。WIFIとの混線で落ちたのも2度や3度ではありません。開発からもう1年半が経過し、最新の基盤とソフトができあがったころ、つい先日東京の大澤さんから朗報が来ました。ドローンからiPodに送ってきた画像です。(この動画は20m付近)いままで地上だけでしか実現できなかった長距離接続が可能になった...!?。ドローンとの電波干渉が無い?。当初目標としていた到達点に来たのだろうか?こんな時、今年のメーカフェアに出展した内容が、サーモグラフィーの世界的企業であるFLIRのホームページに掲載される事になったんです。今年はドローンを切り離してLEPtON3をiPhoneに2個パラレルWIFI接続。赤外線画像でのステレオ(Depth)とAIへの挑戦でした。https://lepton.flir.com/community-showcase-items/thermal-stereo-cam/私たちにとってはこの2つの事件に後押しをされて、さらなる改良を続けることにしました。Cam専用のブレないジンバルを渡辺さんが作っています。Camドローン搭載に向けて現場実証とカメラの取り付け方法を模索しています。私は赤外線画像とAIが結びつかないかを検証しています。現場で終結できるコンパクトで安価なモノを作る!!です。3(LEPTON3、3.5専用)はAppleアプリストアでダウンドードできます。スイッチサイエンスで手に入れることが可能。ジンバルやドローン機体は今後の経過をこのブログでご期待下さい。使ってみる!!素敵な花が咲きました。