Lab.では、現在、視覚に障害をお持ちの方を支援するアプリ「Kagura」を開発しています。Kaguraは写真を取ったときに、「男性がフリスビーを投げています」と言うように起こっていることを音声で読み上げるアプリです。今回は、Kaguraがどのように写真を読もうとしているのかについて紹介します。Kaguraが用いている技術は複数あります。Interaction(HOI)と呼ばれる技術です。Detection)について理解する必要があります。写真のどこに、何が写っているのかを検出する技術が物体認識です。frontal)が2つと犬(dog)が一つ映っているというように認識されています。R-CNNの原論文は、右のものです。https://arxiv.org/abs/1311.2524R-CNNの動作例は次のようになります。入力された画像にたいして、領域(Region)の候補を抽出します。抽出した領域ごとに画像認識を行います。物体認識には様々な手法があります。Shotと呼ばれる手法が主流です。領域抽出と物体の認識を同時に行う点に進歩が見られます。今回は詳しく説明しません。系の手法を使わないことが多いです。その理由は、HOIの名前が示しています。物体検出では「何が写っているのか?」だけを問題にします。それに対し、HOIでは、「写っているものに対して、人がどう関わっているか(Interactionしているか)?」を問題にします。Shot系の手法との相性が悪いのです。今後、HOIでも写っているものと人がどう関わっているかを同時に識別するネットワークが出てくるかもしれません。https://arxiv.org/pdf/1704.07333.pdfHOIでは、上図の緑色の部分ではR-CNNのように写っているものの場所(box)と種類(class)を認識します。次に、写っているもののうち、人間の領域に対してその動作(action)と対象物(target)を識別します。次に、もう一度、人間の領域と対象物について動作(action)をチェックします。このようにすることで、「男性がスケートボードでジャンプしています」のように起こっていることを認識できるのです。クラウドファンディングクラウドファンディングもよろしくお願いします。subscription!OK。