本番では急遽現地スタッフが書いた英文を読み上げるというデモを行いましたが、手書き文字認識の精度は低かったです。pxの文章の読み上げや、ポスターの読み上げは大変精度が高かったです。手書き文字を学習させる必要がありました。大会前には音声認識エンジンと画像認識ソフトウエアを開発しました。Learningを用いた音声認識エンジンKaldiは長い文章でも推論精度は大変良いのですが、推論速度が遅く、ロボカップ@ホームルールの推論制限時間10秒を超えてしまうことがしばしばありました。そこでGPGPUとコンパイル最適化を行い推論時間を5−7秒前後に抑えました。GPUのSDKのCUDAの設定が完了しました。OSの設定を改造しなければならず、こちらの設定に大変苦労し2週間ほどかかりました。Corporation、本当にありがとうございました!RTでの準備ロボカップ@ホームSPLリーグに向けてタスクのための開発を始めたのは大会1週間前です。それまで色々なことがあって手が回りませんでした。今回はfollowmeタスクにしぼって開発を進めました。followmeはロボットが家環境で特定の人を追跡する競技です。人の追跡にturtlebot_followerという既存のturtlebot用人間追跡ROSパッケージを使用していたのですが、間違えて机の方に向かったり、壁に向かったりなど誤認識が多いです。turtlebot_follower誤認識の理由はturtlebot_followerの人間追跡アルゴリズムにありました。turtlebot_followerのアルゴリズムは、kinectの深さカメラが捉えられる範囲内で最短距離の物体を追跡対象として認識し、追跡する、というものです。followme競技中、追跡対象はこの条件を満たさないときがあります。追跡対象である人が机を横切ったり、他の歩行者を通り過ぎると、追跡対象でない物体が追跡対象として認識されてしまいます。そこで追跡アルゴリズムを改善する必要がありました。人の色情報を活用すれば、認識精度が向上した人間追跡をすることができるのではないかと思いました。追跡される人の靴の色は赤、ズボンの色はピンク等、髪の毛は黒、のような色情報です。そこで今回はCamShiftというアルゴリズムを人間追跡に使用しました。もとにTurtlebotを制御する開発するソフトウエアにはこのようなフローが必要になります。今回はROSというロボットミドルウエア上で、画像情報を取得し、Turtlebotの移動制御を行います。faultを起こすことです。Nodeではgdbでソースコードを読みながらステップ実行ができません。バックトレースを見ても参考になるサブルーチン名が出てくることはなくgdbではあまり有用なデバッグができませんでした。printfデバッグを使用すると、OpenCV用のGUIウィンドウの初期化に問題があることが判明しました。問題の箇所は判明したのですが、このときは残念ながら人間追跡のソフトウエアの開発が完了しませんでした。人間追跡ソフトウエアのデバッグを続けました。faultの問題が解決しました。追跡者の方位を認識した画像のピクセル位置とkinectのFOV(43°)から計算し、追跡者の距離をkinectで計測、そしてTurtlebotに比例航法とPD距離制御を使って人間追跡ができるようになりました。これで人間追跡が可能になりました。Functionalitiesでは惜しくも無得点になってしまいました。Thatは得点することができるはずでした。Thatのための環境地図を生成していたときスタート地点に人がいたためです。人を障害物として認識してしまいスタート地点から動くことはありませんでした。That(家で障害物回避をしながら部屋の好きな場所に移動する)に使用したプログラムRestaurant競技Restaurantでは惜しくも無得点になってしまいました。Restaurantでははじめに人間追跡をしながら地図生成をするのですが、ロボットが移動時に何回も転倒しそうになりました。これは重心が高い位置にあったのが原因です。そのためロボットアームを外し、下に2kgのおもりをつけることで重心を低くし転倒を防止しました。Shift)というアルゴリズムを使用しています。CAMShiftはヒストグラムマッチング(色情報)を使った画像追跡のアルゴリズムです。使用するには※Turtlebotを動かすROSパッケージとkinectのドライバを入れる必要があります。followme_node[/c]CAMShiftと書いてあるウィンドウの方を選択し、画像ウィンドウの中の追跡対象をマウスで範囲選択してください。Defenseのことをお話しました。mobileです!ロボカップジャパンオープンでの反省とロボカップ@ホームリーグ世界大会に向けてdemura.netチームの一員として7月のロボカップ世界大会に参加します!ロボカップ世界大会では、ロバストな画像追跡を実現する予定です!今回のロボカップジャパンオープンでの反省点は画像追跡/物体認識が正確ではないことです。色情報だけでの追跡(CAMShift)では追跡対象の識別が正確ではないことがわかりました。追跡対象のズボンの色が青のとき、青色のカーテンの方を追跡してしまうことがありました。followmeの競技中は追跡対象の靴の色がユニークな色で、その靴の色情報を元に追跡したので正確に追跡対象を追跡してくれました。色情報以外に追跡対象の位置情報、深さカメラの情報を利用して正確な画像追跡をする必要があることがわかりました。