《日経Robo》文から文を生成するニューラルネットワーク動画の再生障害のお知らせ:動画の一部が再生できない事象が発生しています。デジタル版(電子版)』のサービス開始を記念して、特別に誰でも閲覧できるようにしています。おいて、この数年で大きく進展したのが文の認識と生成である。Sequence)と呼ばれる新しい系列モデルだ1)。文はサイズが可変である一方、機械学習が使うモデルのサイズは固定である。このため、文を機械学習のモデルで扱うには、何らかの形で文を機械が扱える固定長の表現に変換する必要がある。3つの組を求め、これを使うといった方法が採られていた。この問題は、機械翻訳のように入力も文、出力も文であるような問題の場合、より複雑化する。入出力ともに可変長のサイズの問題を、機械学習でどのように扱うかは長年の課題であり、従来はアドホックな方法が使われていた。可変長の文を扱いやすくしたseq2seqこの問題を解決したのがseq2seqである。seq2seqは文から文を生成するモデルである。はじめに、入力文を単語ごとに順に読み込み、固定長の内部表現に変換し、またその固定長の内部表現から可変長の文を単語ごとに順に生成する。seq2seqは入力系列を固定長に収めるという、かなり強い制約のもとで学習を行う。文X=x1、x2...xnから、文Y=y1、y2...ymを推定する問題を考えてみよう。seq2seqは図1にあるようなRNNを利用する。はじめに符号化器feは単語を1つずつ読み込み、内部表現を順に更新していく。文の終端を表すEOSという単語を受け取ったら、次に復号化器fdは単語を1つずつ生成する。この際、直前で何の単語を生成したかの情報は加えるようにする。yi−1)ここで、yiは直前に出力した単語であり、y0=EOSである。復号化がEOSを生成したら、文の生成は終了したとみなせる。符号化器fe、fdはともに異なるモデルを使ってもよい。この場合は1層のモデルだが、内部状態の隠れ層を複数階層、用意することもできる。横方向に時間軸上の変化を示してある。Sutskever氏らの論文1))[画像のクリックで拡大表示]このseq2seqは、EOSを受け取った瞬間の内部状態snに、入力Xの情報が全て詰め込まれており、入力Xの情報を固定長の内部表現に符号化したと考えられる。その情報から出力Yを順に生成できるようにfe、fdを学習する。...yi−1)である。このため、seq2seqはYのXでの条件付き確率p(Y|X)を学習していることに相当する。可変長の入出力を扱っているが、モデルfe、fdは固定長のサイズである。Memory)などゲート付きのユニットを利用する。することで、情報を長期的に記憶し、学習の際、遠くの層までエラー(目的関数の勾配)を減衰せずに伝搬させることができる。キャプション生成、対話モデルなど広い問題に利用され、大きな成功を収めた。自然言語処理では文の構造は木で表す考えが主流だった。seq2seqのように内部状態に入力を畳み込んでいく方法でも、ゲートがあれば長い距離の単語間の関係が扱える。seq2seqは構造が単純ながら様々なタスクで木構造を使った手法と同程度かそれ以上の精度を達成できるため、最近では「木構造は本当に必要なのか」という議論もされている。自己符号化器としてのseq2seq入力文と出力文が同じ場合は、seq2seqは系列に対する自己符号化器(AutoEncoder)として考えることができる。自己符号化器が事前学習に有効であったのと同様に、seq2seqも系列データに対する事前学習として使うことができる2)。RNNは従来、学習が難しいことが知られていた。ハイパーパラメータの組み合わせ次第で学習が全く進まなかったり、発散したりしてしまうことがあり、うまく学習ができるのは非常に狭い領域だけである。そのため、RNNの学習を安定化させるような研究が進められていた。seq2seqを利用した事前学習は、このRNNの学習を安定化させるのに役立つ。文を要約できるような符号化と表現方法を獲得できているため、これを使ってより詳細なタスクに調整することができるからだ。この場合、入力と出力は同じ文を利用し、文を読み込み、その文を生成できるように学習する。従来の自己符号化器と同様に、内部表現は表現力(次元数)が抑えられているため、seq2seqでも文をそのまま記憶することはできず、文を要約して圧縮した形で保存しなければならない。符号化器は文から良い内部表現を作れるように、復号化器は内部表現から文を作れるように学習をする。単語単位のドロップアウトも有効であることが報告されている。文の中から多少単語が抜け落ちたとしても、正しく必要な情報が抽出できるように学習される。自然言語はかなり冗長にできているため、このようなことをしても学習できる。このように学習したRNNを初期値として利用し、その後、文書分類や意味解析など特定のタスクを学習するようにすることで、安定して学習でき、精度も従来手法と比べて高くなることが報告されている。Infrastructureを共同創業。日経Robotics記事は執筆時の情報に基づいており、現在では異なる場合があります。プレイヤーなど各サービスの全貌、業界別の参入機会・可能性などを解説。Specialエレキあらゆるプロセスで顧客ニーズに対応セキュリティも万全な新IoT向けマイコン毎月更新。世界で戦える工場マネージャー養成講座(全2回セット)国内外を問わず工場のマネジメントを担う管理者に求められるスキルを体系的に学べる講座です。工場長や...世界で広がる自動車電源48V化の最新動向とポイントクルマの電動化が加速する中、実用化が進む自動車電源の48V化について、元トヨタ自動車で世界初の4...今後10年で倍増へ、半導体100兆円市場を制するのは誰か世界の半導体市場は、今後10年で100兆円規模に倍増する方向性が見えてきた。活用を考えているエンジニアを対象に、必要な基礎知識と深層学習の最新技術動向を解説します...工場のものづくり力を世界レベルに強化する世界で戦える工場マネージャー養成講座の第2回。産業用ロボット本体メーカーの角度から、中国ロボット市場の最新発展状況を徹底的に調査。自動車から電機、産業機械まで製造業が「世界No.1製品」をつくるために必要な開発設計プロセスの全...次世代電池2020EVから空飛ぶクルマ、IoT/センサーネットに広がる次世代電池技術を徹底解説デジタルヘルス未来戦略どの技術、どの市場を狙うのか、そして、どこと組むべきか。「デジタルヘルス」に挑むなら、今。事業戦...突き抜けるデザインマネジメント「デザインなんかで経営が変わるわけない」と思っている人にこそ読んでほしい本。