述べたように、一部のDSLRカメラ(デジタル一眼レフカメラ)は、特殊な三脚で超解像度(super-res)モードを実現しています。このアプローチは、カメラ内部のセンサおよび光学系の物理的な動きに依存するか、それができなければカメラを完全に固定する必要があり、フリーハンドで手ぶれが発生するスマホカメラでは実用的な手段ではありません。これは、モバイルプラットフォーム上で超解像度イメージングを実現するためのジレンマです。私たちはこの手ブレを上手く活用することで、この困難を克服しました。ハンドヘルドカメラや携帯電話で写真を撮るとき、フレーム間には常に動きがあります。OIS(光学式手振れ補正システム)は、大きなカメラで手ぶれ、通常は1/30秒間隔で連続するフレーム間の5~20ピクセルを補正します。全ての人(手の震えが比較的少ない人でさえも)で発生する、より速く、より小さな、自然な手のぶれを完全に排除することはできません。高解像度センサーを備えた携帯電話を使用して写真を撮るとき、この手の振れはわずか数ピクセルの大きさです。手ぶれを利用するには、まず、画像を一直線に並べる必要があります。一連の画像からの単一の画像を「ベース」または基準フレームとして選択し、他のすべてのフレームを基準フレームに対して相対的に揃えます。(これをグローバルアラインメントと言います)整列後、画像は、この記事の前半に示されている図のようにおおよそ一つの画像に結合できます。手ぶれ画像がちょうど単一のピクセルだけ動くことはありません。したがって、ベースフレームのピクセルに色を補完する前に、各フレームの隣接ピクセル間の色を補間する必要があります。装置が完全に固定されていて手ブレが存在しない場合(例えば、三脚に置かれている場合)であっても、OISモジュールをシャッター間でわずかに動かすことによって、カメラを意図的に「ジグリング(貧乏ゆすりの様に小刻みに動かす運動)」して自然な手の動きをシミュレートすることができますこの動きは非常に小さく、通常の写真に干渉しないようになっています。その気になれば貴方は自分のPixel3を窓に押し当てるなどして完全に固定し、ビューファインダーを最大限にピンチズームすれば、下に示すような遠くの物体では、小さな連続的な楕円運動をしている事を見ることができます。超解像の課題を克服する私たちがこれまで見てきたように理想的な状況であれば説明は簡単ですが、超解像度はそれほど簡単に実現できる事ではありません。スマートフォンのような消費者製品に広く使われていない多くの理由があり、重要なアルゴリズムを革新する開発が必要です。課題には下記が含まれます。・一連の画像から抜き出した単一の画像は、良好な照明下でもノイズが多いです。実用的な超解像度アルゴリズムは、このノイズを認識し、それにもかかわらず正しく動作する必要があります。私たちは、より高解像度が高いノイズの多い画像を取得することを望んでいるわけではありません。私たちの目標は、解像度を向上させることだけでなく、ノイズの少ない結果を生成すること目標です。左:良好な光条件下で撮影された一連の画像からの単一フレーム画像であっても露出不足のために相当量のノイズが含まれている可能性があります。・一連の画像間の動きは、カメラの動きだけに限定されません。吹き飛ばされた葉や水面を横切って流れる波、移動している車や人、顔の表情を変える人、炎のちらつきなどの複雑な動きがあるかもしれません。煙やガラスのように透明であっても重なり合うため、動きの推定が難しい動きもあります。完全に信頼性があり、且つ限定された箇所に対するアライメントは一般に不可能です。従って、動きの推定が不完全であっても良好な超解像度になるようにアルゴリズムを設計する必要があります。・多くの動きは推測できないランダムな動きであるため、良好なアライメントがあっても、画像のある領域ではデータが密であり、他の領域ではデータが疎である可能性があります。超解像度とはつまる所、複雑な補間問題です。データの不規則な分散は、グリッドの全ての部分で高解像度の画像を生成することを困難にしています。画像をグリッド(格子)に区切ると、Dense(密)にデータが存在するグリッドとSparse(疎)なグリッドができてしまい、均一な色の補完ができません。これらの課題を知ると、現実世界で超解像度を実現する事は不可能であるか、または静止画を三脚に固定したカメラで撮影する限定された状況でしか使えないように思えてくるでしょう。Zoomにより、自然な手の動きを使用し、携帯電話で実行するのに十分な堅牢性と効率を備えた、安定して高解像度画像が実現できる手法を開発しました。以下は、これらの課題のいくつかをどのように解決したかについてです。コメントをキャンセルメールアドレスが公開されることはありません。=心に響いた言葉ディープマインド社の「ロマン主義的なピアノ曲」は、デモで10秒だけ聞くと確かにそれらしく聞こえますが、長く聞くには堪えないのです。曲がどこに向かっているのかさっぱりわからない。同じことが、ゴッホの絵を集めてディープラーニングにかけて生成した絵にもあてはまります。局所的には確かにゴッホらしいのに、全体を見ると無茶苦茶なのです。WordPress.。