Simsellerが発売むやみな位置情報取得にNO。Contentsお問い合わせはこちら。Simsellerが発売Viewむやみな位置情報取得にNO。10」のグローバル版を試す。フォトグラフィーと機械学習」をテーマとした技術説明会を開催し、同社のPixelシリーズで採用されているカメラ機能のポートレートモード、トップショット、超解像ズームの詳細について紹介しました。コンピュテーショナルフォトグラフィーとは、コンピューターによって処理・生成された写真といった意味の言葉です。さを補うことなどが、コンピュテーショナルフォトグラフィーです。講演者は、Pixel3のカメラと中核となる機能のプロジェクト・マネージャーのアイザック・レイノルズ氏。ビデオ会議で通訳を通しての出演です。今回、ビデオ講演を行ったGoogleのアイザック・レイノルズ氏。写真を「データ」と考えると。Googleはご存じの通り、インターネット検索などでデジタルデータの扱いに非常に長けた会社です。写真を光学の産物としてではなく、デジタルデータの塊として捉えAIで扱うことで自分たちのフィールドに持ち込むことができると考えるわけです。3のスマートフォンカメラにおいて、ハード+ソフト+AIの組み合わせによって実現しています。AIを活用しているというのは、スマートフォンカメラならでは特徴である、としています。ところで、写真を撮影するために、一眼(レフ・ミラーレス)デジタルカメラ、コンパクトデジタルカメラに加えて、スマートフォンと言う選択肢が出てきたのに、プロユーザーはともかく、なぜカジュアル・アマチュアユーザーでさえも一眼カメラと巨大なレンズを買う人はいなくならないのでしょう?それは一眼カメラに取り付けられる「口径の大きく明るいレンズ」や、それに内蔵されている「面積の大きなイメージセンサ」には、スマートフォンカメラよりも光学的な性能が優れているから。ハッキリを意味を持たせるボケ味」をといった特色のある写真を撮れるというわけです。3は、光学的に不利になるハード性能をソフトウェア+AIによって補っています。これまでのデジタルズームは単純に画像を線形拡大(そのまま拡大)するのではなく、写真のピクセル1つ1つを分析して、高精細なズーム画像を作り出すものになっています。超解像ズームによってディテールが読み得るズーム写真、そうでない線形ズーム写真、明らかに違いがわかるでしょう。3がデジタルズームで使用しているテクノロジーは2つあります。一度にたくさんの写真を撮り、これらを組み合わせて1枚にするという手法です。この手法は「マルチフレーム超解像」とも呼ばれています。短い露光時間により画像はシャープに白飛びが防げ色味が残るということが長所がありますが、暗い画像になってしまうので、これは組み合わせる際に修正しなければなりません。Googleならではの工夫は、多くのフレームから似ているオブジェクトを組み合わせて選択するという合成の手法にあります。機械学習を応用したこの技術のおかげで、被写体ブレの激しい部分などを省けるようになり、バースト撮影写真の合成に伴うノイズの低減が図れました。3ではバースト写真の位置合わせの精度が高まり、実際には12メガピクセルカメラ搭載のPixel3が、デジタルズームで48メガピクセル相当の性能まで高められている、とレイノルズ氏は言っています。3のカメラで際立って優れているのが「夜景モード」です。3では「バッチリ綺麗に写る」というほど、差があります。実際に、レイノルズ氏の周囲では「(暗い寝室で)子供の寝顔が取れて嬉しい」という声もあったそうです。一眼カメラを使い暗所を撮影する場合、三脚を使い長時間露光で撮影するわけですが、Pixel3の夜景モードであれば、手持ちで画面のシャッターボタンをタップするだけ。ものの数秒構えていれば撮影できます。3の夜景モードに採用されている技術は「エクスポージャーファクトライゼーション」。先ほど出てきたデジタルズームで使用した手法の応用なのですが、スマートフォン(カメラ)の手ぶれや被写体の動きと言った状況を判断し、実際の露光であれば6秒と同等になるように、最小15分の1秒間に15フレーム、最大1秒間に6フレームの間で連続撮影を行います。デジタルズームと同様、これらの画像から同じオブジェクトを組み合わせ、1枚の画像にし、機械学習で被写体(たとえば、写っているは人の肌か、机か、場所は室内か屋外かなど)などを自動的に判断し、自動的に正確なホワイトバランスを調整します。これで1枚の暗所での写真ができあがります。mobile」によるオートホワイトバランス(AWB)は、簡単には騙されません。写真撮影では、ピントを合わせるだけでなく、ボケ味がほしいときがあります。人物のポートレート写真などがそうです。人物にピントを合わせて、周りの背景をボケさせたい。花や、食べ物をクローズアップで写したいなどの場合もそうでしょう。こんなときは、一眼カメラやデジカメなら、光学的に被写界深度を調整(つまりしぼりを開く)することで問題を解決できることはみなさん承知でしょう。小さなレンズ1つしか持たないスマートフォン「Pixel3」のカメラ機能で「ポートレートモード」を選んでも、大きな一眼カメラ同様のボケ味のある写真を撮ることができます。この仕組みは2つのコアテクノロジーから成っています。アレイ「人物分離」は、ポートレートモードでピントを合わせたい、「人」を写真の中から人が描かれている部分と背景を分離したマップを作る、という作業です。これも機械学習ベースで行われます。アレイ」は、つまり写される人の各点がどの位カメラから遠くにあるかをマップを作ります。人間の場合、右目・左目でモノがどのくらい遠くにあるかを理解できるし、スマートフォンのカメラでも同じことをしようとしているものではデュアルカメラを搭載しているものがあります。Pixel3の場合、「Dual位相検知」というやり方で、シングルカメラでこれを実現しています。これは、レンズの右側から1枚、左側から1枚写真を撮影し、その差から位置関係を割り出すというもの。1台のカメラの左右を使って、2台のカメラユニットと同じことをしているわけです。タネが分かればなぁんだ、という感じですが......。これで、撮影するポートレート写真に必要なデータが取得できましたので、これで、写真を合成し、深度に合わせて写真のボケ具合いを変えるわけです。3上でAIがこれ以上学習することはなく、撮影した結果がフィードバックされるようなことは残念ながらないそうです。3のカメラに新機能や性能向上はアップデートで「絶対する」とのことです。それが機械学習エンジンの認識パターンの増加なのか、新機能自体の追加なのかはわからないですが期待して待ちたいものです。......でも間違いなく機能の進化は行われるということです。こちらも(日本で発売されることを含めて)期待しましょう。これらGoogleのコンピュテーショナルフォトグラフィーを初めとした多くの技術はBlogなどでも公開されています。Blogでさらに詳しく知ることができます。までお知らせください。メディアガイドをあわせてご覧ください。Contentsお問い合わせはこちら。時間前shareViewお問い合わせはこちら。