BLOGSpeee開発陣による技術情報発信ブログです。メディア開発・運用、スマートフォンアプリ開発、Webマーケティング、アドテクなどで培った技術ノウハウを発信していきます!2017-10-03画像から光源を推定するTweetデジタルコンサルティング事業部のduenoです。先日開催したSpeeeKaigiで「画像から光源を推定する」と言うテーマで発表しました。単一画像から光源の位置、色、明るさが推定できるかどうかを試してみました。昨今ARアプリをよく見かけますが、描画された3Dオブジェクトが浮いていると感じる場面が結構あります。何も考えずにカメラで写した像の上に3Dオブジェクトを描画したらこんな感じになります。ライティング処理がもっとやりようがあると思います。現実の光源を推定して、3Dオブジェクトにかけることができれば、いい感じに見えるのではないかと思いました。調べてみたところ、光源の推定はインバースレンダリングという分野に該当するそうです。反射特性と幾何形状が既知にしなければいけないそうです。MicrosoftのMixedRealityToolkitであったり、iOSのARKitであったり、最近平面検出を行うライブラリが結構ある気がします。平面検出で得られた面を扱うことにすれば、幾何形状は「既知」になると考えました。単純な線形グラデーションとして扱うことが出来そうです。画像3の明度を適当に調整したものです。この画像から、光源の色相に関しては取れそうな気がします。同じようなサンプル画像を複数の位置でとる事で、光源の明るさも出せそうです。情報が得られれば、光源の座標は出せるんじゃないかと考えました。大津の二値化(判別分析法)大津の二値化は画像を二値化(白黒化)する際に、その閾値をうまい具合に決めるためのアルゴリズム、またはそれを用いた二値化処理の事を指します。↑の画像の「とある壁の画像」は、肉眼で見るとわかりづらいですが、左側がやや明るくなっています。「とある壁の画像」に対して、大津の二値化を適用すると、「大津の二値化を施したもの」になります。この画像から、左側が明るく、光源が存在すると推定できそうです。ピクセルの画像にしました。そこまで!という所までやってみた所でSpeeeKaigi当日になってしまったので以上です。ここまで試してみて複数光源あることを考慮しなければいけない大津の二値化後の処理はもっとうまくやる余地がありそう。等、検討しなければいけない事が多数出てきました。次回機会があれば、実際のデバイスを使って実装してみた所まで発表できればと思います。ありがとうございました。10:40画像から光源を推定するTweet関連記事2017-12-26本番データを安全、簡単に利用するこんにちは、Speee唯一の踏韻エンジニア@mncです。ライフスタ...2017-10-19CloudFormationの管理を楽にする娘にぞっこんアラサーエンジニアのpataijiです。参加してきました月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。