Gleyzer両氏によって共同開発されました。2019で、同言語の発表を行いました。InfoQはPurdy氏に言語と、氏らが解決を目指した問題について聞きました。設計/アーキテクチャアジャイルマニュフェスト:ソフトウェアアーキテクトの視点ソフトウェアアーキテクトの役割と責任はアジャイルソフトウェア開発のためのマニフェストの価値と矛盾していると見えますが、優れたアーキテクトはアジャイル開発チームをサポートするテクニックを見つけています。Streamingは、ストリーミングデータのためのSQLライクなインターフェースを提供します。Streamsによって、Redisがストリーミングデータを複数のプロデューサとコンシューマの間で消費、保持、配信することができるようになります。ソフトウェア開発のマニフェストたゆまず息もつかずに市場に突進することで、会社を静かに消滅の崖っぷちへと追い込みます。それは設計してコードを書く方法を再考する時です。簡単さへの投資は、速さへの投資です。簡単さは知的財産の主鉱脈でもあります。競争上の優位性は、一度失ったら、もう一度手に入れることはほとんど不可能です。Buytaerts氏が過去10年間にわたって、企業がDevOps採用のハイプサイクルをくぐり抜け、変革に対する誤解を解消する過程を支援してきた経験について語ります。Transformerを開発した。ネットワークは、より短いトレーニング時間で、いくつかのディープラーニングタスクにおいて最先端のパフォーマンスを達成できる。画像キャプションや言語翻訳などのいくつかの一般的なAIアプリケーションは、シーケンス学習としてモデル化できる。一連のデータの次のものを予測する。シーケンス学習ネットワークは通常、エンコーダとデコーダの2つのサブネットワークで構成されている。2つが訓練されると、多くの場合、デコーダを単独で使用してまったく新しい出力を生成できる。人工的なスピーチやシェイクスピアのフェイクなどである。(LSTM)ネットワークは、これらの問題を解決するのに特に効果的である。Transformerは他のアーキテクチャーに比べてトレーニングコストを1桁以上削減できたため、近年ではTransformerと呼ばれる単純なアーキテクチャーが普及している。RNNのように入力シーケンスの各要素を順番に処理する代わりに、Transformerはフルシーケンスを並列に処理する。重要な考え方はアテンションの使用である。簡単に言えば、アテンションは、各出力要素に対する各入力要素の寄与の符号化した重みの行列である。したがって、アテンションの重みの数は、入力シーケンスの長さの2乗で増加する。ネットワークの各層ごとに個別のアテンションマトリックスがある。ネットワーク内の総重みの数が限られているため、これはネットワークの深さとそれが扱うことができる最大シーケンス長との間のトレードオフとなる。OpenAIの技術革新は、ネットワークの複雑さを\(O(N^2)\)から\(O(N\sqrt{N})\)に減らすアテンション行列のスパース分解である。これにより、OpenAIは、「数千要素」のシーケンスしか処理できない他のネットワークと比較して、「数百のレイヤーを使用して数万要素のシーケンスをモデル化する」ことができる。OpenAIの大規模なTransformerベースのモデルの一例として、MuseNetがある。これは、10種類の楽器で4分間の楽曲を作成し、カントリーからモーツァルト、ビートルズのスタイルを組み合わせることができるシステムである。知られているのはGPT-2で、これはアンデス山脈のユニコーンに関するニュース記事を作成した。OpenAIは、「このテクノロジの悪意のあるアプリケーションに関する懸念」があるため、完全なGPT-2モデルをリリースしていない。Transformerのようなサイトで活用されている。そのサイトでは、ユーザはモデルが新しいストーリーを生成するために使用するカスタムプロンプトを入力できます。コミュニティからの反応はさまざまである。ハッカーニュースで、コメントした人の一人は、「それは本当に印象的です!しかし、コードリリースには少しがっかりしている。完全なソースコードとセットアップを期待していました」と述べた。Matiasは、「なぜ小さなコードスニペットだけがリリースされ、完全なコードと訓練されたモデルはリリースされなかったのでしょうか。今後これが標準になるでしょうか?」と尋ねた。Transformersを使った長いシーケンスの生成」はarXiv.orgで入手できる。スパースアテンションコードはGitHubで入手できる。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見るあなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。登録するとさまざまなことができます。アカウント登録をしてInfoQをお楽しみください。あなたの意見をお聞かせください。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見る様々なイノベーターとアーリーアダプターがお送りするテクノロジーの概要を見る。自分がまだ知らないことに気づいていないと知るあなたが興味のあるトピックスをいつでも最新な情報に。あなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。よい世界へ私たちが暮らす世界を大切に思い、よりよいものにしたいと考えています。人のためのソフトウェア開発を加速し私たちのミッションを実現することで、この思いを成し遂げようとしています。私たちは利益の1%をさまざまな慈善団体に寄付しています。会社として、また従業員として、そうしたことの価値を強く信じているからです。with.プライバシーBTあなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。アドレス*Eメールを変更すると確認のメールが配信されます。会社名:現在の会社名をご入力ください。Other組織規模:現在の組織規模をご入力ください。2,501+国:現在の国を設定してください。Zimbabwe都道府県:現在の都道府県に設定してください。次の都道府県にアップデートする:ニュースレターを購読しますか?インダストリーメールを購読しますか?本Eメールに登録すると、以前より関心のあったトピックの関連情報をお送りする場合がございます。詳細はこちらのプライバシーポリシーをご覧ください。newsletter?新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。