続いて、メモリ技術をAIハードウェアに応用する研究成果を報告する。SRAM技術をベースとする発表が3件、抵抗変化メモリ(ReRAM)技術をベースとする発表が2件ある。Synapses/mm2)。重みづけ用メモリとアクチベーション用SRAMなどを集積したアクセラレータを試作し、動作を確認した。性能は0.152TOPS、消費電力当たりの性能は8.80TOPS/W、消費電力は19.5mWである(電源電圧は0.72V)。従来は8トランジスタあるいは12トランジスタのSRAMセルによってXNORの演算回路を構成していた。トランジスタ数を減らすことで、シリコン面積の縮小を期待できる。256×64個のSRAMセルアレイを内蔵したBNNアクセラレータを試作し、MNISTデータセットとCIFAR-10の推論を実行した。MNISTデータセットの推論精度(測定値)は98.42%とかなり高い。CIFAR-10の推論精度(測定値)は79.38%とやや低かった。バイナリニューラルネットワーク(BNN)用のSRAMセルベースXNOR演算回路の例。左上と左下は8個のトランジスタで構成した回路(既存の研究成果)、右上は12個のトランジスタで構成した回路(既存の研究成果)。右下は浦項工科大学校(POSTECH)が提案した6個のトランジスタによる回路。モバイル機器やウエアラブル機器などで、ユーザーが音声で操作命令(コマンド)を入力する用途を想定した。試作チップは、SRAMセルを3bit出力のXNOR演算回路とする、16個のコンピューティングマクロを内蔵する。3種類の音声認識用データセットで試作したプロセッサの性能を評価した。モバイル機器やウエアラブル機器などで、ユーザーが入力した音声(コマンド)をRNNで認識するフロー。Techの共同研究グループが2019年のVLSIシンポジウムで発表した論文(論文番号C11-5)から試作した音声認識プロセッサの概要(左)とシリコンダイ写真(右下)、デモンストレーション用ボード(右上)。Techの共同研究グループが2019年のVLSIシンポジウムで発表した論文(論文番号C11-5)から3種類の音声認識用データセットで試作したプロセッサの性能を評価した結果。Applications)。130nm世代のCMOS技術で128×128bitのReRAMを内蔵したFPGAダイを試作した。試作した不揮発性FPGAの概要(左下)とシリコンダイ写真(右上)、評価ボード(右下)。Rate)は、最小で10%だった。2019年:特定用途向けのAIハードウェア技術ここからは、おもに特定の用途を想定したAIハードウェア技術の研究成果を報告する。いずれも不揮発性メモリ技術をベースにした。Nano-Oscillators)。相変化スイッチは、二酸化バナジウム(VO2)が絶縁体と金属の間で相転移する現象を利用したもの。4個の発振器を試作して母音認識の学習を実行した。学習用データは5種類の母音を含んだ音声信号で、各種類ごとに40個のサンプルを用意した。学習の精度は最大で96%である。各種類ごとに20個のテスト用サンプルを使った推論(分類)の精度は平均で90.5%だった。Activation)。メモリ技術はReRAM技術である。64KbitのReRAMセル(1T1Rセル)アレイと非線形のアクチベーション回路(「ISNA」と呼ぶ回路)を内蔵する、ニューラルネットワーク(NN)用プロセッサを試作した。MNISTデータセットを4層のCNN(構成はLeNet)で学習させたときの精度は98.1%、CIFAR-10データセットを5層のCNN(構成はLeNet)で学習させたときの精度は95.9%である(いずれも測定値)。試作したプロセッサのシリコンダイ写真(上)と概要(下)。共同研究グループが2019年のVLSIシンポジウムで発表した論文(論文番号T8-3)から試作したニューラルネットワーク用プロセッサと類似の研究成果を比較した表。Technology)。16チャンネルの脳波信号からてんかんの発作を検出する。EEGデータセットによる学習を実施した後の推論エンジンの精度は、96.88%と98.26%である。強誘電体トンネル接合のクロスポイントアレイをポリシーに利用する。強誘電体トンネル接合をメモリ内強化学習に応用(論文番号T2-4)。続いて、アナログ相変化メモリ(アナログPCM)を使った3件の研究成果と、ニューロモルフィックコンピューティングに関する4件の研究成果を発表する。2件は、アナログPCMを使ったニューロモルフィックコンピューティングに関する発表である。全体では5件の発表を報告する。自然言語処理に向けた推論用ニューラルネットワークである。テキスト(文章)の推論精度は、シミュレーションによるとソフトウェア処理によるベースラインと同等だとする。Bank)」をそれぞれ使用した。2個のトランジスタと2個のPCM記憶素子で構成したメモリセル(2T2Rセル)と、4個のトランジスタと4個のPCM記憶素子で構成したメモリセル(4T4Rセル)をシナプスに絵適用した。2T2Rセルに1,000ステップの重みづけを与えたときの線形性は0.993と非常に高い。3層のフルコネクトニューラルネットワークを構築して学習のシミュレーションを実行した。シミュレーションによるとMNISTデータセットによる精度は、2T2Rセルが95%、4T4Rセルが97.4%である。通常のニューラルネットワークでは、新しく学習を実行すると以前の学習によって得たモデルを消失してしまう。Learning)では、以前の学習によって得たモデルを維持しながら、連続して学習を積み重ねられる。PCMのシナプスとCMOSロジックによって教師ありの畳み込みニューラルネットワーク(CNN)に教師なしの脳型学習機能を付加した。MNISTデータセットによるテストでは98%の推論精度、CIFAR-10データセットによるテストでは85%の推論精度を得ている。CIFAR-10データセットで学習していない2種類の分類をテストしたところ、82%の推論精度を達成した。Applications)。既存のFeFETに比べて書き込み電圧が下がるので、書き込みエネルギーの削減と書き換え回数の増加を期待できる。SG-FeFETを試作して実験によって評価したところ、書き込みエネルギーが6割下がるとともに、書き換え可能回数が1桁増加した。Endurance)。1個のFinFETが制御用スイッチ、もう1個のFinFETはストレージ用キャパシタとなる。シナプスとしては理想的な線形性と10の12乗回を超える学習サイクルを確認した。最後は、不揮発性メモリ技術で人工ニューロンを実現した3件の発表を含め、4件の研究成果を紹介する。ReRAMの記憶素子を、ニューロモルフィックコンピューティングのシナプスに応用することを想定している。ポリイミドの基板に、印刷技術(エアロゾル方式のインクジェット技術)によって銀(Ag)の電極と、二流化モリブデン(MoS2)の抵抗変化2次元材料による記憶素子をクロスポイントアレイ状に形成した。記憶素子のスイッチング電圧は0.18Vと低く、電流のオンオフ比は10の7乗と高い。1,000サイクルの曲げ試験にも耐えた。柔らかい基板(ポリイミド基板)に印刷技術(インクジェット技術)によってReRAM記憶素子のクロスポイントアレイを形成。中央上は記憶素子の構造。中央下の写真は試作したクロスポイントアレイ。右は製造工程と製造パラメータ。強誘電体キャパシタ(80μm角)を試作してSNNによる学習をシミュレーションによって検証し、発火頻度の低下(エネルギー効率の向上)を確認している。CMOSロジックの人工ニューロンに比べ、低いコストでニューラルネットワークを構築することを目指す。実際に素子を試作し、人工ニューロンとして動くことを確かめた。非常にコンパクトで低消費のニューラルネットワークを構築することを目指す。STT-MRAMの記憶素子である磁気トンネル接合(MTJ)を、積分発火モデルのニューロンとシナプスに使う。MTJを含む回路を試作し、4bitの積分発火型ニューロンとして動かすとともに、バイナリ形式のシナプスとして利用できることを示した。8層のCNNを構成して学習シミュレーションをCIFAR-10データセットで実行したところ、82%の精度を得た。人工ニューロン(アナログ積分発火モデル)を構成する手法。左上(a)はCMOSロジック、右上(b)はPCMあるいはReRAM、左下(c)はTS(スレッショルドスイッチ、右下(d)はSTT-MRAM。国立交通大学と台湾工業技術院の共同研究チームが2019年のVLSIシンポジウムで発表した論文(論文番号T3-4)からここまで、過去10年のVLSIシンポジウムにおけるAIハードウェアに関する研究成果を駆け足でご紹介してきた。来年(2020年)もこの勢いが続くことを期待したい。