比べた場合に処理の遅さがあげられます。使った場合も処理速度に限界があります。構造とは異なり、メモリを使用することによりシーケンシャルな構造を考慮した学習を行う事ができます。論文中では、スカラーFSMN、ベクトルFSMN、双方向FSMNなどのアーキテクチャを提案していますが、この記事では代表してスカラーFSMNを紹介したいと思います。メモリーに記憶しておき、そのメモリーに記憶されている値も考慮して次の層への出力を生成するという形をしています。スカラーFSMNの更新式は、下記の2つで表すことができます。生成しますが、スカラーFSMNの場合は[tex:{a^{l}{i}}]という係数を重みとしたメモリの和として定義します。あとはもとの入力とこの値を普通のニューラルネットの重み計算を行うことにより、FSMN層の出力とします。違い、事前のステップの入力が必要になりますがこの層内での計算結果を必要としないため、層単位で並列に計算することができます。比べ計算を高速に処理することができるようになります。一応論文中では、識別器としての性能も大差ないよと言っています。実装し既存のLSTMと比較してみましょう。サンプルを使用します。