Learning」の意訳です。3の基礎となった技術で2018年10月現在でも画像を綺麗にするために使われている技術です。3関連の記事のまとめはこちらインターネットでは毎日、数百万の写真が共有され、保存されています。これらの写真は訪れた事のない世界に思いをはせたり、興味のあるトピックを研究したり、友人や家族と休暇の体験を共有したり、様々な目的に使われています。使われている画像の多くは、撮影に使われたカメラの解像度か、またはスマートフォンやタブレットが接続しているネットワーク回線に対応するためにサイズが圧縮されています。意図的に写真の品質が劣化されているのです。家庭やモバイル機器向けに高解像度ディスプレイが普及してきており、低解像度の画像から高品質な画像を再現したいと言う要望は幅広いデバイスで発生し、これまでにないほど需要が高まっています。Super-Resolution」では、低解像度画像から高品質バージョンを生成するために機械学習利用する手法を紹介します。RAISRは、現在入手可能な超解像度手法と同等以上の品質を、およそ10~100倍速く、典型的なモバイルデバイス上でリアルタイムに実現することができます。私達のこの技術は、より低い解像度の画像に存在する可能性のあるエイリアシングアーティファクト(低解像度で発生するボヤケやギザギザ等)の再現を避けることができます。アップサンプリング、つまり低解像度画像から高品質な画像を生成する手法はかなり昔から行われてきました。method)を用いて作成する事です。この線形法は、数値が固定された線形フィルターであるため高速です。線形法によるアップサンプリングは、高品質な画質になりません。下の例のように、アップサンプリングされた画像はぼやけて見えてしまいます。このような品質では、低解像度画像から高品質画像が生成されたと主張する事は躊躇われます。左:低解像度のオリジナル写真、右:シンプルなアップサンプリング(bicubic法)で2倍にした写真。NewsRAISRでは、シンプルなアップサンプリングを使う代わりに機械学習を使用して、低解像度画像と高解像度画像のペアから「どのようなフィルター(変換ルール)を作れば、低解像度画像から高解像度画像が作れるか?」を学習させます。作成されたフィルターを低解像度画像の個々の画素に適用するとオリジナルの高解像度画像に近い品質の高品質な画像が作れるようになります。RAISRは2つの方法で訓練することができます。1つ目の方法は、フィルタを低解像度画像と高解像度画像のペアから直接学習する「直接法」です。1つの方法は、最初に計算が簡単なアップサンプラー、例えば線形法を低解像度画像に適用し、次にアップサンプリングされた画像と高解像度画像のペアからフィルターを学習させます。法は計算速度が速いのですが、第2の方法は、非整数スケールファクタを可能にし、ハードウェアの機能を使ったアップサンプリングをより有効活用できます。どちらの方法でも、RAISRフィルタは、画像の小さなつぎはぎ部分、すなわち輝度/色勾配、フラット/テクスチャ領域などに見られるエッジ(端っこ)に着目して学習します。エッジは、方向(エッジのアングル)、強度(鋭いエッジは大きな強度を持ちます)、一貫性(エッジの方向がどれだけ続くか)によって特徴付けられます。以下にRAISRフィルタのセットを示します。高解像度と低解像度の画像ペア10,000個のデータベース(低解像度画像に最初にアップサンプリング処理をしたデータベース)から学習されたものです。トレーニングには約1時間かかりました。学習した11×11フィルターを3倍に拡大した一覧。エッジの角度(angle)が変化すると、フィルタの角度も同様に変化することに注目してください。同様に、強度(strength)が増加するにつれて、フィルタの鮮明度(sharpness)が増加しますし、フィルタの異方性(anisotropy)は一貫性(coherence)の上昇とともに増加します。最下行中央のフィルタは、高いコヒーレンス度(エッジが曲線ではなく直線である等)の強い水平エッジ(90度の勾配角度)に対して最も適しています。この同じ水平エッジが低コントラストである場合、異なる行のフィルタ、例えば一番上の行が選択されます。正確に言えば、実行時にRAISRは学習済みフィルタのリストから最も適しているフィルタを選択し、低解像度画像の各ピクセル近傍に適用します。これらのフィルタを低品質の画像に適用すると、元の高解像度に匹敵する品質を再現し、線形法、バイキュービック法、またはLanczos補間法などの安価なアップスケーラに大幅な改善をもたらします。上図:RAISRアルゴリズムの手順。安価なアップスケーラの出力に適用されます。