データに対して重要な記憶を確率的に伝播させることのできるRBMの拡張モデルを適用することで、良好な符号化ができるようにする。【解決手段】パラメータ学習ユニットと符号化ユニットとを備え、入力データを表現する可視素子と、制限ボルツマンマシンによる確率モデルを適用して隠れ素子を推定して、学習および符号化を行う。ここで学習ユニットと符号化ユニットの入力データは時系列データであり、学習ユニットと符号化ユニットは、可視素子に基づいて時系列のデータを記憶する記憶セルと、記憶セルに記憶されたデータおよび入力データに基づいてデータを一時記憶する短期記憶セルと、可視素子に基づいて短期記憶セルの出力を制御する忘却ゲートとを有する。忘却ゲートに基づいて制御された短期記憶セルの出力に基づいて、時刻ごとに伝播する隠れ素子を得る。