R2」として登場する。それぞれ型番や、ソフトウェアで異なる部分はあるが、ブランドネームだけでなくハードウェアもほぼ共通の仕様となる。伏見聡氏に話を聞いた。特徴としては、まずデュアルカメラがあります。デュアルカメラ自体は、「カラー+モノクロ」「通常+ワイド(広角)」など、さまざまな組み合わせのものがこれまで登場していますよね。その中でシャープはどうするか。そこで注目したのが、動画でした。スマートフォンユーザーは本当によく動画を撮ります。調査すると、ユーザーの半数は定期的に動画を撮影していることがわかりました。その半数は、その動画をアップロードするところまで行っています。その一方で、たとえば1分間撮影し、そのままアップロードしたとしても、そこまで長い動画はなかなか観てもらえません。動画をアップロードするという使い方は広がっていても、まだ、お客さまには満足感を持っていないのではないか、と考えたのが背景としてあります。――どういった利用シーンを想定して開発されたのでしょうか。私は犬を飼っており、休みの日には散歩に出かけます。犬を飼っている方であればご存じでしょうが、スマートフォンで犬を撮るのってわりと苦労します。人間の目線から撮ると、上の視点になって、良い写真や動画になりません。いって犬の目線で撮るのは、スマートフォンでは難しい。これまでは、スティックにアクションカメラを付けて撮影する、なんて楽しみ方をしていたのです。これをスマートフォンでやるには何が必要か、今回あらためて考えました。1つ目の答えは広角レンズです。犬からの目線を撮影しようとすると、そのままでは画面を覗きながらは撮れません。広角にすれば、犬が観ているであろう被写体や風景がフレームからはみ出さないようにできます。アクションカメラを使っていて気づいたのは、ピントが安定していて映像として見やすいことでした。スマートフォンのカメラは基本的にオートフォーカスですよね。カメラを1つしか搭載できない場合、ディープフォーカスの設計にしてくれとは言えません。歩きながらでも手軽に動画を撮るためには、先ほど説明があったような高性能な手ぶれ補正が必須です。通じて、動画を撮るのは家族、子供、ペット、動きのある被写体やレストランなどと、主立ったニーズがわかってきました。その上で、いろいろなデュアルカメラ方式がある中、本当にこんな特異なことをやっていいかと検討した結果、お客さんの声として、動画を撮る人であれば撮る人ほど、カメラが2つに分かれていた方が良いとの確信を得て、動画のためのデュアルカメラの仕様としました。小野氏スマホではなんとなくで「デュアルカメラが良い」と思われがちですが、なぜ二眼が良いのか、どういった仕組みなのか、といった点はわかりにくくなっていないでしょうか。R2」は「動画専用のカメラと普通のカメラです」とシンプルに2つあることの価値をお伝えできるかなと考えています。小林氏シャープのDNAもあります。我々が一番心配しているのは、シャープがほかのメーカーに勝つとか負けるとかではなく、スマホ業界全体が盛り上がらないことです。新しい商品が出てきても、日用品になってしまって誰にも注目されなかったりライフスタイルが変わらなくなったりするのは、とても怖いことです。常に新しい使い方を提案したい。提案し続けるには常に新しいアイディアを持っていないといけません。今回は新しいアイディアが生まれました。発表後、良い反響が得られていると認識しています。動画用カメラに備えたスペックとは動画用の広角レンズと静止画用の標準カメラ――そこで採用した「動画のためのデュアルカメラ」について、もう少し詳しく教えてください。動画と静止画では、ハードウェアレベルで要求性能が違います。今回採用した動画用カメラは人間の視野よりも広い、画角135度のものです。これは電子手ぶれ補正の効果を得るためでもあり、なおかつ驚くほど広い範囲を撮るためでもあります。F値は2.4と高めです。一般的にF値は低い数値のほうが明るく、良いものとされ、そこでメーカー同士での競争があります。被写界深度の深さではF値は高い方が有利です。そこでディープフォーカスに対応するためF値2.4としました。動画と静止画は手ぶれ補正の性質が異なる手ぶれ補正は従来の2倍程度の性能に仕上げています。カメラが数cmも動けば、画角で言えば15度〜20度くらい動くのです。R2」の動画カメラは斜めで15度ずつ、あわせて30度の手ぶれ補正が可能です。90度のカメラで30度を電子手ぶれ補正に使えば60度しか撮れなくなります、つまり、手ぶれを抑えた動画を撮れるようにすると、十分な広角性能が必要だということになります。ここまで思い切って画角を広げたのは、動画の場合、周辺部が少しひずんでもあまり気にならないということもあります。被写体が動けば周辺部はあまり目にとまりません、撮影者である自分が動くときも気になりません。した点は、静止画とまったく特性が異なるのです。最初はいろいろ議論があり、動画のために135度とするのは思い切った決断でしたが、ここまでやってよかったです。一方の静止画では、ディテールの描写など、高精細という面でのニーズがあります。そこでインカメラも16メガピクセルと大きなものを搭載しています。動画と静止画のカメラを独立したことで、同時に撮影もできます。カメラが別なので、ファインダーで見えているものと撮れるものが違うなど、使いこなすにはかなり奥が深い機能と言えるかもしれません。動画は被写体自体が動いており、それを追いかける場面もありますから。動画は動画カメラ、静止画は静止画カメラで撮りますが、この2つを同時に使うことはリソースの限られたスマートフォンでは難しいことです。通常、静止画を撮影する瞬間は、カメラを固定した状態を想定します。動画ではカメラが被写体を追って動きます。その状態で固定されているときと同じように静止画を撮るというのはハードルが高く、チューニングが難しかったポイントです。静止画と動画を同じパラメーターで撮るとボケやブレが出やすいので、動かしていてもちゃんと撮れるよう、チューニングに心血を注ぎました。動画と静止画のフォーカスの違い――動画カメラの方はオートフォーカスではないとのことでしたが、一方で静止画はオートフォーカスです。静止画を撮影するとき普通の静止画と同じようなチューニングだとブレてしまうので、動画撮影中は本体が動いても撮影できるようなシャッタースピードにして、フォーカス位置も動かしています。どこにフォーカスを当てるかは、静止画側のカメラで捉えたものから判断しています。動画側のカメラはオートフォーカスしないので、静止画カメラは静止画カメラの映像を見てフォーカスしています。動画カメラと静止画カメラでフォーカスや被写体の情報を相互でやり取りはしていません。AIライブシャッター/AIオートシーンを実現する3つのエンジン――動画撮影中に自動で静止画を撮影するAIライブシャッターが特徴的ですね。小林氏AIライブシャッターでは、動画を撮っているときに自動で静止画が撮影されます。顔の認識など、構図などを見て撮影しているのです。これが使ってみると面白いのです。撮影後に確認すると、撮影側も思っていなかったような表情やシーンが記録されてるんですよね。動画は30秒〜1分程度の長さで撮影することが多いでしょうが、先に申し上げたように、そのままSNSにアップしてもなかなか観てもらえません。そこで決定的に良いところだけを簡単に上げられるようにしたのもポイントです。静止画を撮ったシーンには何かがあったはずということで、その前後の動画を簡単に切り出せるようにもなっています。村上氏AIでシャッターを切るためにAIエンジンがいくつか搭載されています。犬や猫の位置を検出したり、構図の良し悪しを判定したりするといったものです。いくつかのエンジンを組み合わせ、最終的にシャッターを切るところを決めています。フィールド試験とチューニングをかなり繰り返しましたね。シャープの山本氏(左)と村上氏(右)。手前で動作してるのはAIエンジンのパラメータを表示する開発用アプリ。人物を認識し、笑顔などを数値化している山本氏AIライブシャッターとAIオートシーンを実現するにあたり、どういったエンジンが必要か、開発中の議論を経て3つ必要という結論に至りました。1つ目はまずシーン認識です。夜景、会議中のホワイトボードなど、撮影する場面はさまざまで、その場面が何なのか、答えを出すエンジンです。1つが物体を認識するエンジンです。人やペットなど、カメラが捉えている場面の中に何がいるのか、位置情報を含めて認識します。最後は構図認識のエンジンというわけです。シャープでは、これまで「エモパー」で写真の認識ができるよう開発を進めてきました。そこで今回は構図認識エンジンの開発が必要だったのです。これには頭を抱えました。写真の構図には暗黙のルールがあります。そこからずらすのは、人間が撮影するからできることです。正解をどう定義したら良いか悩みました。テストで写真を並べ、どれが良いかを開発メンバーに選ばせたところ、バラバラの評価となりました。人数を増やしてデータを集めると、一定の傾向が出てきます。そこで、脈があると信じて、絵を集めて学習させていったのです。その結果、なんとか精度を向上することができました。構図を完璧に見ようとすると難しく、いわば許容値を広げないといけません。どこまで広げるかが課題です。構図には人の感性が働いているので、そのバランスが非常に難しいのです。今回は撮るだけでなく見る、共有するといったサイクルを誰もが簡単にできるように、とも考えています。動画を撮ってもサムネイルに最初の場面だけが表示されても、何を撮ったかわかりにくいですよね。撮影した静止画をサムネイルにしています。ストーリー再生機能で動画と静止画をハイブリッドで見せられます。良いシーンを切り出してショートムービーも作れます。ユーザー対象のグループインタビューを実施したところ、撮影手順の簡単さよりも、撮影した長い動画から良いシーンを切り出すのが大切だと言われました。そこでこの機能を搭載しています。静止画のカメラを使っています。小林氏ここの仕様は本当に悩みました。Instagramで動画を撮るとき、カメラを適切な方に切り替えたい。他社のアプリがカメラをどう使うかわかりません。「このアプリの場合は動画用カメラで起動する」といった形にするには無理があるのです。その決め打ちが間違っていてアプリがクラッシュするのはいけません。今回は互換性を優先し、サードパーティ製のアプリで使うのは静止画カメラとしています。動画のカメラだとディープフォーカスで全体にピントがあいますが、近くに寄ったとき、ピントが甘く見えてしまいます。したとき、カメラアプリには、標準と広角を切り替えるボタンがありますので、動画のスタンバイ状態の時に、用途に応じてカメラを切り替えて撮影できるようにしています。近いところを撮るときは、被写体があまり動かないので、動画でもオートフォーカスを使えます。利用用途に合わせて使うだけでカメラを変えることを意識させないようにしています。今回は指紋センサーの位置にあわせて、ディスプレイ側の開発にも注力しました。前面側の下部に液晶ディスプレイのコントローラーやバックライトがあるのですが、その上に指紋センサーが載るような形になっています。IGZOディスプレイの特徴の1つである動きの滑らかさは、フレームレートが100Hzとしています。R」では120Hzでしたが、今回は応答速度を向上させており、より最適化したものとお考えください。スクロールさせたときの残像は少なく、読みやすいことに変わりはありません。R2」では、6インチでWQHD+(3040×1440ドット)と過去最高の解像度を実現しました。ハイスピードIGZOという面では、応答速度を25%アップさせています。フレームレート向上で枚数が増え、反応速度の向上で残像がより速く消えるというイメージ――フレームレートはなぜ100Hzになったのでしょうか。佐藤氏バランスを考えた結果です。解像度やサイズを大きくして、応答速度も向上しました。いろいろなスペックがアップした反面、スペックを全部上げると、消費電力などが厳しくなります。要因の1つは解像度の向上です。高精細になり、ディスプレイ側が120Hzであっても、アプリ上の処理で描写しきれず、フレーム数が落とされることもあるのです。さまざまなフレームレートを検証し、“スイートスポット”となる100Hzを見つけました。105Hzや110Hzも試しましたが、そうなるとメジャーなアプリでも描写がコマ落ちし始めます。100Hzだとコマ落ちが、発生数が1/30程度にまで減るのです。――アプリのコマ落ちを抑制する意味があるのですね。