Data」の意訳です。元記事の投稿が2017年4月6日なので少し古いですが、「オンデバイスでディープラーニングを学習させる手法」で言及されていた投稿です。privacy)の2019年の実例についてはこちら。一般的な機械学習では、学習データを1台のマシンまたはデータセンターに集中させる必要があります。Googleは、Googleのサービスを改善するために、最も安全で堅牢なクラウドインフラストラクチャを構築し、こういったデータの処理を行っています。Learningを紹介します。Learningは、携帯電話がすべてのトレーニング・データを電話内に保存しながら、共有予測モデルを共同学習することを可能にします。データをクラウドに格納する事なしに機械学習の実行を可能にするのです。Replyなど)の限界を超えています。これは次のように機能します。貴方のスマホは現在のモデルをダウンロードし、貴方がスマホを用いて入力したデータを用いてモデルを学習し、改善し、小さな変更点としてまとめます。この変更点のみが、暗号化された通信を使用してクラウドに送信されます。クラウドでは、他のユーザーから送信された更新と共に平均化され、クラウド上の共有モデルが改善されます。すべてのトレーニングデータはスマホ上に残っており、個々の変更点はクラウドに保存されません。貴方のスマートフォンは、使用状況(A)に基づいてニューラルネットワークモデルを貴方に最適化(パーソナライズ)します。多くのユーザーのパーソナライズされたモデルの変更点が集約され(B)、共有モデルに反映され(C)、その後も同様な手順が繰り返されます。Learningでは、よりスマートなモデル、低レイテンシ、低消費電力を実現しながらプライバシーを確保します。このアプローチにはもう1つの利点があります。クラウドから共有モデルの更新を提供するだけでなく、携帯電話上でパーソナライズされた改良モデルをすぐに使用する事ができるので、携帯電話を使い方に合わせてすぐにそのカスタマイズされた機能を活用することができるのです。Learningをテストしています。Gboardに変換候補が表示されると、現在の入力中の文脈に関する情報と、変換候補をクリックしたかどうかの情報がローカルデバイス(スマートフォン)に保存されます。Learningは、Gboardの変換候補提案モデルの履歴を保持し、モデルを改善し、次回の提案に生かします。Learningを可能にするために、アルゴリズム上および技術上の多くの課題を克服する必要がありました。Descent:確率的勾配降下法)のような最適化アルゴリズムをクラウド内のサーバーで均等に分割された大きなデータセットに対して実行します。このような何度も繰り返される反復アルゴリズムは、トレーニングデータへ迅速にアクセスできる事と、データの応答速度が速い事を必要とします。Learningでは、データは非常に不均衡な状態で数百万のデバイスに分散されています。これらのデバイスは、応答に時間がかかり、処理能力も低いため、断続的にしかトレーニングのために利用できません。algorithmの開発動機に繋がりました。これは、単純なfederated版のSGDと比較して、10~100倍少ない通信量でディープニューラルネットワークを訓練することができます。重要なアイデアは、最新のモバイルデバイスの強力なプロセッサを使用して、単純な勾配計算ではなく高品質な更新を計算することです。高品質な更新は優れたモデルを作成する際に反復回数が少なくて済むため、トレーニング時の通信量は大幅に削減されます。アップロード速度は通常、ダウンロード速度よりもはるかに遅いため、ランダムローテーションと量子化を使用して更新部分を圧縮することでアップロードの際の通信コストを最大1/100にまで削減する斬新な方法を開発しました。convex)のアルゴリズムも設計しています。この技術をGboardを実行する何百万もの異機種携帯電話に導入するには、洗練されたテクノロジーの積み重ねが必要です。オンデバイスのトレーニングでは、TensorFlowの小型バージョンを使用します。慎重にスケジュールを立て、デバイスが何も操作されていない状態で、電源接続され、無料のワイヤレス接続に接続されている時にしかトレーニングは行われないため、スマートフォンのパフォーマンスに影響はありません。Learningに参加します。このシステムでは、安全で、効率的で、拡張性が高く、耐障害性のある方法で、モデルの更新を通信し、集約する必要があり、これには強力なインフラストラクチャが必要になります。Learningの利点を生かすことができるのは、このインフラストラクチャと研究結果を組合せる事が出来たためえす。Learningは、ユーザーデータをクラウドに格納する必要なく動作しますが、それだけで終わりなわけではありません。Aggregationプロトコルを開発しました。コーディネーションサーバーは、100人または1000人のユーザーが参加している場合にのみ平均更新を解読でき、集約化前に個々の電話の更新を検査することはできません。(訳注:つまり、コーディネーションサーバーに悪者が侵入しても、個人を特定する事が難しいと言う事です)これは、ディープネットワークに関する問題や現実世界の接続制約に対対応した実用的な最初のプロトコルです。Averagingは、コーディネーションサーバーが平均化した更新を必要とするようにデザインしたので、安全な集約を実現できます。この手法は一般化可能であり、他の問題にも適用することができます。Learningをアプリケーション用に展開する予定です。私たちの今回の仕事は、まだ表面的な部分を可能にしただけです。Learningは、機械学習の全ての問題を解決することはできません。(例:注意深くラベル付けされたデータを使って犬種を分類することを学ぶなど)。他の多くのモデルでは、必要なトレーニングデータが既にクラウドに保存されています(Gmailの迷惑メールフィルタのトレーニングなど)。Learningで解決できる問題の範囲を広げるための継続的な研究にも取り組みます。Gboardの推測変換機能を超えて、たとえば、私たちはあなたがスマホに実際に入力したものに基づいてキーボードを改良するように言語モデルを改善したり、人々がどの種類の写真を見て、共有し、または削除するかに基づいて写真のランキングを作りたいと考えています。Learningを使いこなすためには、新しいツールと新しい考え方を学ぶ必要があります。通信コストが制限となり、モデルの作成、訓練、評価の際には生データやラベル付けデータに直接アクセスする事はできません。Learningのユーザーメリットは、このような技術的な課題に取り組む価値のある事だと考えています。機械学習のコミュニティ内で広く議論される事を希望して私たちはこの成果を発表しました。Researchの多くの人々の成果を反映しています。Gboardチームのパートナー。コメントをキャンセルメールアドレスが公開されることはありません。=心に響いた言葉その日、私がスモールと話たときに彼はいいました。「マウスの中で光っている緑色の点は、エクササイズがもたらした新しい脳細胞です。これをあまりにはっきり見てしまい、無視するわけにはいきませんでした。WordPress.。