Translation」の意訳です。Firatさんによる投稿です。低リソース言語の数を増やすと、高リソース言語の翻訳の品質が低下し始めます。この退行は、「タスク間の競合」と「転送の単方向性(つまり、高リソースから低リソースへの転送)」が生じるマルチタスク設定で認識されます。このネガティブな転移を軽減するために、より良い学習アルゴリズムとキャパシティ制御アルゴリズムに取り組んでいます。ニューラルネットワークの特徴表現能力を拡張するには、モデルパラメーターの数を増やして高リソース言語の翻訳の品質を向上させ、ニューラルネットワークを大きくする必要もあります。レイヤーを追加したり、隠れ特徴表現をよりワイドにするなど、ニューラルネットワークの容量を拡張するために、多数の設計から選択を行うことができます。翻訳のためのよりディープなネットワークのトレーニングに関する研究を継続し、GPipeを使用して、60億を超えるパラメーターを持つ128層トランスフォーマーをトレーニングしました。モデルの容量を増やすと、すべての言語で平均5BLEUポイントもパフォーマンスが大幅に向上しました。ネットワークの深さと幅のトレードオフ、トレーニングの容易さ、840億のパラメーターを使用して1500層以上にトランスフォーマーをスケーリングするための設計選択など、非常にディープなネットワークのその他の特性も調査しました。ディープなネットワークにする事は、モデルの容量を増やすための1つのアプローチですが、マルチタスク設定の性質を活用できるアーキテクチャを探索する事は、非常に説得力のある補完的方法です。Experts:複数のニューラルネットワークを階層型に組み合わせる手法)に置き換えることで、Transformerアーキテクチャを変更しました。これにより、モデルのキャパシティを大幅に拡大し、500億個のパラメーターを正常にトレーニングする事が出来、翻訳品質がさらに向上しました。処理能力(パラメーター数)を増やすと、単一の大規模多言語モデルの翻訳品質が向上します。個々の言語、領域、または転送タスクごとに非常に高い計算コストを支払って大きなモデルをトレーニングすることは非効率的です。Translation」でを提示しています。次のステップ現在使われている7,000の言語の少なくとも半分は、今世紀の終わりまでには存在しなくなると言われています。多言語の機械翻訳が助けになるでしょうか?M4のアプローチは、次の1,000言語に対応するための足がかりになると考えています。M4のような多言語モデルを元にすれば、利用できる並列データ(元の文章と翻訳した文章のペア)が利用できない場合でも、新しい言語、領域、および実務的作業に簡単に拡張する事ができます。確かに今後の道のりは険しく、普遍的な機械翻訳システム実現に必要と思われる多くの有望な解決策は、様々な研究分野に跨った幅広い研究が必要になるように見えます。これにより、多言語NMTは、マルチタスク学習、メタラーニング、ディープネットの学習のダイナミクスなど、機械学習の実践者や理論家にとって尤もらしい試験用プラットフォームともなります。Wuからの貢献に基づいています。Hughesからのサポートに感謝します。コメントをキャンセルメールアドレスが公開されることはありません。=心に響いた言葉1年360日、夜明け前に起きた者で、家族を豊かにできなかった者はいない。WordPress.。