全国高校eスポーツ選手権運営の舞台裏。13:072018年のVLSIシンポジウムにおける人工知能(AI)関連の発表(その4)「人工知能(AI)」のハードウェア技術に関する研究開発が、急速に活発化してきた。そのほとんどは、半導体のプロッサ技術やメモリ技術などによってAIのハードウェアを高速かつ低消費電力にしようとする研究である。このような動きを反映し、半導体のデバイス技術と回路技術の研究成果が披露される国際学会「VLSIシンポジウム」における人工知能(AI)関連の発表件数は2016年以降に急激に増加した。全体の発表件数に占めるAI関連の割合は、2010年代前半は5%にも満たなかった。それが昨年(2018年)には11.7%と一気に増加し、今年(2019年)も12.6%と勢いが続いている。そこで本コラムでは、過去10年(2010年~2019年)のVLSIシンポジウムにおける人工知能(AI)関連の研究成果を総ざらいしている。はじめに「前編」では、2010年~2016年のAI関連発表をまとめた。続く「後編」では、2017年~2018年(一部を除く)のAI関連発表を解説した。本編(完結編)では、2018年の残りと2019年のAI関連発表をまとめて概観する。2018年のAI関連の研究成果は21件である。その中で今回は、後編で紹介しきれなかった残りの10件を報告する。それから2019年のAI関連の研究成果を概観する。発表件数は23件である。2018年:機械学習の性能を高める新しいアイデアが続出2018年はまず、機械学習の性能を高める新しい技術を中心に、4件の研究成果を報告する。3本の読み出しポートと3本の書き込みポートを備えており、クロックサイクル当たりで2回のデータアクセスを実行する。128×32bitのRFを内蔵するテストチップ(シリコンダイ)を試作し、性能を評価した。実測では、クロックサイクル当たりで1回のデータアクセスに比べ、読み書きのスループットを最大で73%高められた(電源電圧は0.64V)。シミュレーションでは、同じスループット(12Gワード/秒)のときに消費エネルギーを42%削減できている。試作したテストチップのシリコンダイ写真(上と中央)と概要(下)。Linearity)。DRAM用溝形キャパシタと3個のトランジスタによるアナログメモリセルを、クロスポイントアレイにレイアウトする。低消費電力化を目指したディープニューラルネットワークの重みづけメモリには、不揮発性メモリセルのクロスポイントアレイが数多く提案され、テスト回路が試作されてきた。IBMの論文によると、不揮発性メモリは推論用の重みづけメモリには適しているものの、学習用にはあまり適さない。学習用ニューラルネットワークの重みづけには例えば1,000ステップといった非常に細かな調整が必要なこと、重みづけの値(ステップ)の上昇と下降に入力パルスに対する対称性と線形性が要求されることが、その理由である。これに対してキャパシタは、蓄積する電子の数が十分に多ければ、重みづけのステップ数を多く確保できるとともに、重みづけ値(ステップ)の上昇と下降に対称性と線形性をもたせられると主張する。DRAM用キャパシタで問題となるリーク電流は、学習用ニューラルネットワークでは重みづけの値がひんぱんに更新されるので、問題にはならない(学習精度には影響を与えない)という。メモリセルを試作して重みづけメモリとしての性能を測定するとともに、シミュレーションによって学習の性能を推定した。試作したメモリセルは、400ステップの上昇と下降を10サイクル繰り返することができた。相変化メモリ(PCM)や抵抗変化メモリ(ReRAM)などをベースにした重みづけメモリに比べ、格段に優れた対称性と線形性を示した。MNISTデータセットを使った学習のシミュレーションでは、97%の精度を得た。DRAMキャパシタをベースとする学習用重みづけメモリ。左は単位セルの回路図。中央は4×5のクロスポイントアレイの回路図。右はクロスポイントアレイをシリコンにレイアウトした図面。IBMが2018年のVLSIシンポジウムで発表した論文(論文番号T3-1)から重みづけメモリ用技術による非線形性と対称性の違い。縦軸はステップダウン、横軸はステップアップしたときの非線形性。「ゼロ」が完全に線形であることを意味する。グラフ内の直線は対称性が完全なときのプロット。work」とある星型のプロットが今回のメモリ技術。256×64のアレイとフラッシュA-D変換器などを内蔵するシリコンダイを試作している。ディジタルASICに比べ、消費エネルギーを33分の1に、消費エネルギー遅延時間積(EDP)を300分の1と大幅に削減した。MNISTデータセットによる推論精度は98.3%である。試作したシリコンダイの写真。256×64のSRAMアレイやフラッシュA-D変換器などを内蔵する。コロンビア大学とアリゾナ州立大学の共同研究チームが2018年のVLSIシンポジウムで発表した論文(論文番号T16-3)からインメモリコンピューティング用ハードウェアに関する最近の研究成果との比較。エッジ端末のニューラルネットワークにおけるワンショット学習(1回だけの学習)向けである。クラウドやサーバーなどにおける機械学習と違い、エッジ端末ではハードウェアの規模が小さく、許容できる消費電力が低い。このため、回路の規模をなるべく小さくしつつ、消費電力を下げたシナプスが求められる。一方でエッジ端末では大掛かりな学習の必要性があまりない。極端に言ってしまうと、1回限りの学習が実行可能であれば実用的には十分であることが少なくない。そこで、クラウドで事前に学習ずみのニューラルネットワークのモデルをエッジ端末のニューラルネットワークに転送し、エッジ端末ではワンショット学習だけで済ませる使い方を想定した。回路規模がもっとも小さなデバイスは、1個のトランジスタである。そこで国立交通大学とUMCの共同研究グループはFinFETのしきい電圧をシナプス(重みづけメモリ)とすることを考えた。しきい電圧は、ホットキャリア効果によって調整する。電圧パルス列をFETのソースドレイン間に加え、電圧パルスを徐々に高くすることによってしきい電圧を上昇させる。言い換えると、ドレイン抵抗を高める。実際にFinFETを試作し、しきい電圧とドレイン抵抗を電圧パルス列によって調整できることを確かめた。シミュレーションによると、抵抗変化タイプの不揮発性メモリ(相変化メモリや抵抗変化メモリなど)をシナプスとしたアレイに比べ、同じ規模のアレイで読み出し電力が10分の1と低くてすむ。学習そのものに必要な消費電力はかなり大きく、課題が残るようだ。左の表は、人工知能(AI)の学習におけるクラウド(サーバー)とエッジ(端末)の条件の違い。右の図は応用として想定したAIシステム。大量のリソースを要する学習作業はクラウド(サーバー)であらかじめ済ませておく(事前学習)。事前学習ずみのニューラルネットワークのモデルをエッジ(端末)に移し換える。エッジ(端末)での学習は実行可能であるものの、少量のリソースですむワンショット学習(1回限りの学習)に限定する。国立交通大学とUMCの共同研究グループが2018年のVLSIシンポジウムで発表した論文(論文番号T3-3)から左のグラフはFinFETに加える電圧パルス列と、しきい電圧の変化(イメージ)。電圧をじょじょに高くしていくことで、しきい電圧をリニアに上げていく。中央のグラフは電圧パルス数としきい電圧の変化量の関係(測定値)。約45回の電圧パルス印加によってnチャンネルFinFETのしきい電圧は約0.2V上昇し、pチャンネルFinFETのしきい電圧は約0.5V上昇した。右のグラフは電圧パルス数とドレイン抵抗の関係(測定値)。約45回の電圧パルス印加によってnチャンネルFinFETのドレイン抵抗は8倍に、pチャンネルFinFETのドレイン抵抗は175倍に増大した。国立交通大学とUMCの共同研究グループが2018年のVLSIシンポジウムで発表した論文(論文番号T3-3)から2018年:ReRAMをシナプスにした低消費のニューラルネットワーク2018年は続いて、抵抗変化メモリ(ReRAM)技術をニューラルネットワークに応用する4件の研究成果を紹介する。Architecture)。試作したチップのニューラルネットワークは、2個のReRAMセルで1個のシナプスを構成する。ReRAMセルのアレイは積和(MAC)演算機能を備える。ニューラルネットワークの入出力を2値化(バイナリ化)することで、アナログデジタル(A-D)変換回路およびデジタルアナログ(D-A)変換回路を不要にした。ニューラルネットワークの構成は外づけのコントローラによって変更可能である。180nm世代の製造技術で2M個のシナプスを内蔵する演算処理チップと、40nm世代の製造技術で4M個のシナプスを内蔵する演算処理チップを試作した。消費電力当たりの性能は、2M個のシナプスを内蔵する演算処理チップが20.7TOPS/W、4M個のシナプスを内蔵する演算処理チップが66.5TOPS/Wである。MNISTデータセットを使った学習による推論精度は最高で90.5%と、それほど高くはない。試作したニューラルネットワーク演算処理チップのシリコンダイ写真。左は180nm技術で製造したシリコンダイ、右は40nm技術で製造したシリコンダイ。寸法は左右でそろっていないので、注意されたい。パナソニックセミコンダクターソリューションズが2018年のVLSIシンポジウムで発表した論文(論文番号T16-4)から試作したニューラルネットワーク演算処理チップと、SRAMをベースとするニューラルネットワーク演算処理技術を比較した表。右端の2列が試作チップ。Computing)。ハフニウム酸化物(HfOx)を記憶素子とするReRAMセルである。Layer)」と呼ぶ層を挿入することで、熱伝導率を向上させるとともに酸素空孔分布を均一化することで、非線形性の低減を図った。ETML層を改良することで、ReRAM記憶素子のセット動作における非線形性を当初の0.96から0.04まで大幅に低減し、リセット動作における非線形性を当初のマイナス3.26からマイナス0.63までこれも大きく低減した。MNISTデータセットの学習精度に与える誤差に換算すると、当初の6%から、最終的には1%にまで削減できたという。IoTのエッジ端末で画像をリアルタイム認識するモジュールを想定している。ReRAMには主に、画像のデータを格納する。隣り合う画素のデータ(例えば8bitデータ)は、最大ビット(MSB)が同じであることが多い。ReRAMは低抵抗状態(LRS)で不良が発生することが多く、高抵抗状態(HRS)では不良の発生が少ない。そこで隣接する画素で最大ビット(MSB)が異なるときはLRS、同じときはHRSをReRAMに格納する。この工夫によってReRAMのデータ保存不良を81%削減できた(測定値)。隣接する画素間で同じオーダーのビット間に誤り訂正をかける。これら2つの工夫によってReRAMのデータ保存期間を5倍に延ばすとともに、データ書き換え回数を3.3倍に増やすことができた(測定値)。左は、IoTのエッジ端末で画像をリアルタイムで認識するモジュールのイメージ。ReRAMダイにReRAMコントローラ、画像認識プロセッサ、アナログデジタル変換チップ、イメージセンサなどを積層する。中央と左はReRAMとReRAMコントローラによって8bitの画素データを操作する様子。このようなReRAMを「A-ReRAM(Approximate-ReRAM)」と呼んでいた。従来のクロスポイント構造ReRAMセルアレイで行列同士の乗算を実行する場合に比べ、演算に必要なサイクル数を4分の1に減らすとともに、消費エネルギーを43%削減し、シリコン面積を70%縮小できたとする。従来のクロスポイント構造ReRAMセルアレイで行列同士の乗算を実行する場合には、アナログの出力値をデジタル値に変換するA-D変換回路と、結果を格納する別のメモリを必要としていた。このため演算のサイクル数が多くなる、消費エネルギーが増加する、シリコンダイ面積が拡大するといった課題を抱えていた。そこでReRAMセルアレイ内部で乗算を実行して結果を同じセルアレイに格納する、クロスポイント構造を考案した。具体的には2つの行列の列(カラム)と行(ロウ)を順番にかけ合わせ、結果を順次、足していく。することで、セルアレイ内部で演算を完結させた。行列同士の演算を実行する回路のブロック図。Multiplication)。ReRAMのクロスポイントアレイのほかに、A-D変換回路と結果格納用メモリを必要とする。Multiplication)。クロスポイントアレイの規模は増大するものの、A-D変換回路と結果格納用メモリを省ける。清華大学とスタンフォード大学の共同研究チームが2018年のVLSIシンポジウムで発表した論文(論文番号T3-4)から3×3の行列同士を乗算するフロー。2つの行列の列(カラム)と行(ロウ)を順番にかけ合わせて結果を合計する。NAND技術を活用した機械学習用大容量メモリ技術このほか2018年のVLSIシンポジウムでは、AIハードウェアに関する2件の研究成果が報告された。NAND製造技術を応用した大容量フラッシュメモリ技術の発表、もう1件は絶縁物から金属に相転移する材料をニューロンに応用する技術の発表である。Application)。64層の3次元積層構造で記憶容量が128Gbitと大きなシリコンダイを作れるとする。NANDフラッシュ技術をベースに、AND接続した3次元構造のNORフラッシュを機械学習用メモリとする。この構造によって高速な読み出しと高い記憶密度を両立させた。メモリセルを試作して特性を評価している。シミュレーションによると、消費電力当たりの性能は5~40TOPS/Wが得られるという。Materials)。キャパシタを使った基本素子に比べ、シリコン面積を大幅に削減できる。二酸化バナジウムと金属電極による不揮発性の抵抗変化記憶素子を試作し、電圧パルス列(スパイクに相当)の入力によって二酸化バナジウムが絶縁体から金属に相転移すること実験で確かめた。2個の抵抗変化記憶素子とトランジスタを組み合わせたラッチ回路を試作し、電圧パルス列の入力でスパイキングニューロンに相当する動作が起こることを確認した。2019年:フルHDビデオをCNNで補完する超解像プロセッサここからは、2019年のVLSIシンポジウムで発表された、AIハードウェア関連の研究成果23件をまとめて紹介していく。はじめは、ニューラルネットワークの処理を高速に実行するアクセラレータあるいはプロセッサの研究成果である。