XSのカメラはどう進化したのか。Lite(仮)登場?まで。Contentsお問い合わせはこちら。Lite(仮)登場?まで。XSのカメラはどう進化したのか。10」のグローバル版を試す。ニュース速報まとめと、有識者と個人をつなぐソーシャルニュース新型iPhoneの本体についてはすでにレポート記事が出ていますので、いきなり本題に入りましょう。Max/XRに採用されたカメラについて、取材を通して得たいくつかの情報、製品を短時間ながら使ったうえで掘り下げた内容を本稿ではコラムとして書き進めていきたいと思います。Max」の実機を最速レビュー、実はそんなに重くないまずは僕なりの結論から書いておきます。カメラへのニューラルネットワークの応用(AIという方がピンとくる方が多いでしょうか?)は、アップルだけのオリジナルではありません。アップルでもおそらくは数年前から似たアプローチを取っていたと思いますが、もっともわかりやすい形で端末の商品性向上に活かしてきたのはファーウェイです。ファーウェイの端末でAI機能をオンにして撮影すると、確かにきれいなのですが、どこか現実感のない写真が撮影されます。即時SNSでシェアする写真を簡単に撮るという意味では、それもひとつの方向性なのだとは思います。アップルはこれとまったく異なる方向で、ニューラルネットワーク処理を専門に行う"ニューラルエンジン"を新型iPhoneに搭載してきました。余談ですがグーグルも、ニューラルネットワーク処理により、単眼レンズで深度を判別するカメラ機能を実現し、Pixelに搭載していましたね。ファーウェイがAI的処理で幻想的で美しい世界を描き出すのに対し、アップルは、レンズ交換式カメラで撮影した写真をRAW現像ツールを用いて作品を生み出すような、そんな撮影結果をユーザーが意識することなく自動的に撮影できるようなシステムを構築しようとしている。これが現在の率直な感想です。iPhoneのカメラ機能は本格的な写真撮影の世界を身近にするだけでなく、近い将来、映像表現という意味でプレミアムコンパクトカメラ市場にまで踏み込んでくるのかもしれません。Photos11+7すべてのコンポーネントを専用設計にデジタルカメラは極めて多くのコンポーネントが"連動"して動作する機械です。"機械"と表現したのは、デジタルカメラといえどもメカニカルな要素もあるから。イメージセンサーから読み出した信号をどのように処理すべきなのか、処理した結果、レンズを制御してフォーカスしなおしたり、露出を変えたりする必要がある場合もあります。露出の決定やフォーカスシステム、顔認識や手動フォーカス、露出補正やホワイトバランスの振る舞いなど、デジタルカメラは実に多くの要素が絡み合う複雑なシステムです。優れたデジタルカメラを作るのは難しいと言えるでしょう。スマートフォン内蔵カメラの場合、スマートフォン全体の制御はSoCのCPUがつかさどる一方、映像処理はISP(イメージシグナルプロセッサ)が行いますし、そこにサードパーティ製のアプリに対するAPIを提供する必要などもあります。SoCとセンサー、レンズ、そしてOSを別々に調達して機能を組み立てようとしても、細かなところまで作り込むのが難しいという問題がありました(これは以前に書いたコラムの通りです)。関連記事:Xperiaの失速とHUAWEIの躍進、カギを握るのは「内蔵カメラ」(本田雅一)ところが、新iPhoneにおいてアップルは、カメラ機能に関わるすべての要素を自社専用に開発していることがわかりました(実際の生産は委託していますが)。Bionic」に内蔵されているISPも、もちろんアップルにカメラ設計チームの要求に従って中身が決められています。12は、そうしたカスタム仕様のカメラ構成要素をまとめ上げてシステムと統合しています。ここまで徹底しているスマートフォン内蔵カメラは他にはないでしょう。アップルは今回、カメラ機能の向上にかなりのリソースを割いているのです。Bionic」は何が凄いのかたとえば1200万画素という数字上は変化のないリアカメラですが、画素ピッチは1.2ミクロンから1.4ミクロンまで増加し、画素面積は32%も増えているそう。実際にはそれ以外の改良も加わり、トータルでは画素あたりに集まるフォトン(光子)は57%増加したとのことです。アップルはセンサーサイズを公表していませんが、画素数が変化せずに画素ピッチが大きくなっているのですから、イメージセンサーのサイズを大きくしたのだと推測できます。一般には"画素数増加"を画質向上と見なす傾向にありますが、画素が小さくなりすぎると、ひとつひとつのピクセルの質は悪くなります。画素を大きくすることで集められるフォトンを増やし、S/N比を高めることで画素数ではなく"画素の質"を高めるアップルの選択は、おそらく正しいものです。新型iPhoneのカメラは機能面でもいろいろな追加が行われていますが、一方で"使いこなす"要素を極力排除されています。どちらのレンズを使うのかはISPが自動的に判断し、よりよい結果が得られるよう自動選択されますから、ユーザーが意識することはありません。広角側、望遠側ともに光学手ぶれ補正機能が内蔵されていますが、光学手ぶれ補正は原理的に三軸の補正しかできません。5軸での補正もある程度できるようです。実は光学手ぶれ補正を導入する以前から、電子手ぶれ補正が入っていたようで、カメラメーカーが本格的なカメラにも導入しているように、電子手ぶれ補正と光学手ぶれ補正を組み合わせているようですね。その結果、シャッタースピードは1/4秒まで手ぶれ補正が効くとのこと。広角側での話だと思いますが、それでもなかなかの性能です。3段分に近い手ぶれ補正が入っていると考えられます。手ぶれ補正は、ブレを検出するセンサーとの連動が効きに大きな影響を与えるため、レンズユニットを単体で調達するだけでは性能を追い込めません。電子手ぶれ補正と連動させようと思えばなおさらです。アップルはこうした機能を、とにかくユーザーに意識させず使わせようとしています。Plus以降、HDRという項目がなくなっていました。必要な時に自動でHDR処理をしていたからです。Bionic」で初めて実現されたものでした。以前はHDRで記録する場合、通常現像とHDR現像の2枚を記録していましたが、それも行われなくなっています。誰も不自然には感じていませんよね?写真における自動HDR撮影とは、なるべく肉眼で見たときに近い見え方になるよう、"写真"上では表現しきれない階調を上手に収めようというアプローチ。暗部や中間階調のディテールが浅くならないよう配慮しながら、ハイライト部のディテールを失わず、色彩表現も可能な限り引き出すわけです。トーンを自動コントロールする機能はカメラメーカーの製品にも見られるものですね。今年から新たに"Smart"を名乗りはじめたiPhone内蔵カメラのHDR撮影は、単に優れた、賢いトーンカーブ、ロールオフ(白飛び部分の丸め方)を適応的に処理するだけではないのです。HDRはモードを設定することなく常に動作しています。Max/XRのカメラでは、動作中、常に画像を取り込み続け、レリーズを切った瞬間だけではなく前後の4フレームを保持し続けます。1フレームの撮影で2枚分の映像情報を取り込んでいるのです。通常露出で1枚(プライマリフレーム)、もう一枚はハイライトのディテールを捉えるために露出を絞って撮影した1枚(セカンダリフレーム)です。両フレームは時間軸的に同時であるとアップルは話しています(実際には同時と言えるほど素早いということなのかもしれませんが)。露出を絞るといっても、絞り機構はないと思うので、実際にはシャッター速度を早くしているのでしょう。この機能は動画撮影時にも適用され、毎秒30フレームで4Kビデオを撮影する際、内部的には60フレーム分のデータを扱いながらHDR処理を行います。動画撮影の場合はどのぐらい露出をズラすのか。これについては-2EV(1/4の明るさ、シャッター速度で言えば4倍の速度)でセカンダリフレームを読むそう。静止画の際はシーンによって露出差を大きくしたり、小さくしたりといった制御を加えているそうです。このようにすることで、iPhoneがイメージセンサーから受け取るダイナミックレンジの情報は60%増えると言います。思いましたが、実はここではニューラルエンジンを使っていないとのこと。ハイライト部の階調をより多く取り込み、トンカーブやロールオフを適切にやろうという、かなり"生真面目"なやり方です。確実な話ではありませんが、プライマリー、セカンダリーだけではなく、バッファしている前後4フレームも参照してHDR映像を生成すると受け取れる表現もあります。いずれにせよ、新しいiPhoneのカメラは複数フレームを常に保持し続け、被写体ブレを検出すると別のより高品位なフレームを採用するなどの賢さを持っているのは間違いありません。HDR実現を前提に高い能力が与えられているからなのかもしれませんが、同時にセンサーにも工夫がありそうです。アップル自身は詳しい仕様を語りませんが、彼らは完全に"ゼロシャッターラグ"で全画素の読み出しを行っていると話しているため、おそらくメモリを積層した全画素読み出しが可能なセンサーを搭載しているのではないでしょうか。▲トレイルランで森の中から太陽を見上げて撮影。HDRがうまく効いているようです▲夕方の陽の光を木々の葉を透かしてみた。朝のトレイルランとは異なる空気感と色合い実際に様々な場面で"逆光"の写真を取ってみました。太陽そのものに向けるとその周囲は真っ白に飛んでしまいますが、明るい空と雲が森の木々と調和した画になってくれています。