機械学習モデルをトレーニングしながら計算されたメトリクスにすばやく簡単にアクセスし、モニタリングし、可視化することができるようになりました。使用して指定できます。コンソールにストリームし、損失曲線や精度曲線などの時系列曲線を可視化します。使用して、プログラムでメトリクスにアクセスすることもできます。モデルのトレーニングとは、トレーニングデータセットの例を提示することによって、モデルに予測を習得させる反復的なプロセスです。通常、トレーニングアルゴリズムでは、訓練誤差や予測精度など複数のメトリクスを計算します。これは、モデルがきちんと学習しているかの診断に役立ちます。十分に正則化することにより、未観測のデータに対する予測ができるようにもなります。この診断は、モデルのハイパーパラメータを調整するときや、モデルが本番環境にデプロイする可能性を備えているかどうかを評価するときに特に役立ちます。これらのメトリクスをモニタリングおよび可視化する方法について学びましょう。組み込みアルゴリズムはすべて、さまざまなモデルのトレーニング、評価、および検証メトリクスを自動で計算して発行します。メトリクスを発行します。単語、フレーズ、センテンスなど高次元オブジェクトの低次元高密度埋め込みを学習できる教師あり学習アルゴリズムです。つの埋め込みがベクトル空間上にどのように配置されるかについても学習します。これは、テキスト内の特定の文章のペアが類似しているかどうかを評価する応用性を持つ技術です。メトリクスは、モデルによって行われた予測が検証データセットの実際のラベルと乖離している程度を測定します。モデルのトレーニングの進行に応じて減少するはずです。マネジメントコンソールについて段階的に見ていきましょう。モデルのトレーニングに使用する方法についても説明します。サンプルノートブックには、トレーニングジョブを作成するための手順が示されています。マネジメントコンソールで確認できます。使って、ユーザー対話履歴データを保存およびクエリしています。内の貴重なデータを詳細な情報に変換する必要があります。これにより、低いレイテンシーのクリティカルパスから分析クエリが分離します。このデータは、顧客の過去の行動を理解し、将来の行動を予測し、下流のビジネス価値を生み出す主要な情報源となり得るのです。使用へ切り替えるということがよくあります。データを使用して、今後の行動を予測したり、個別の推奨事項を提供したりしたいと考えます。データベース内のすべてのデータをスキャンし、モデルをトレーニングするのは現実的ではありません。テーブルデータを使って、顧客の行動を予測する方法を解説します。顧客に個別の推奨事項を提供する方法も説明します。使用して、データに対してアドホッククエリを実行することもできます。最近、オンデマンドバックアップをリリースし、パフォーマンスに影響を与えずに完全なテーブルバックアップを作成しました。管理バックアップを作成し、他のサービスからアクセスできるようにする方法を紹介します。バックアップファイル形式を読み取る方法について説明します。形式に変換する方法についてもお話しします。使用して、定期的なエクスポートと変換をスケジュールする方法も説明します。アルゴリズムを紹介します。おける重要な特徴工学技術です。高次元のベクトルを低次元の空間に変換し、大きな疎ベクトル入力で機械学習を行いやすくします。埋め込みは、類似のアイテムを低次元空間の近くに配置することによって、基礎となるデータのセマンティクスも取得します。これにより、下流のモデルのトレーニングで特徴がより効果的になります。あり、これは単語の埋め込みを提供します。多くのユースケースで広く使用されています。特徴空間における単語の埋め込みの概念表現については、次の図を参照してください。意味的に類似している単語は、埋込み空間内で互いに近くに位置しています。汎用的なオブジェクトの埋め込みを学びたいユースケースもあります。基づく顧客プロファイリングのため、または他の教師ありタスクの入力として実用的なアプリケーションを構築できるようにするためです。使ってそうしたユースケースを解決する方法を紹介します。埋め込みは、元の空間内のオブジェクトのペアの間の関係の意味が埋め込み空間内で保持されるように学習されます。したがって、学習された埋め込みを使用して、オブジェクトの最近傍を効率的に計算し、低次元空間内での関連オブジェクトの自然クラスターを視覚化することができます。埋め込みは、分類または回帰のような下流の教師ありタスクにおける対応するオブジェクトの特徴として使用することもできます。アーキテクチャは、以下の主要コンポーネントで構成されています。つの入力チャネルが、同じタイプまたは異なるタイプのオブジェクトのペアを入力として受け取り、それらを独立したカスタマイズ可能なエンコーダーに渡します。入力オブジェクトの例としては、シーケンスのペア、トークンのペア、シーケンスとトークンのペアがあります。つのエンコーダー—エンコーダーは、それぞれのオブジェクトを固定長の埋め込みベクトルに変換します。次に、ペア内のオブジェクトのエンコードされた埋め込みがコンパレータに渡されます。コンパレータ—コンパレータは埋め込みを異なる方法で比較し、ユーザーによって指定された各関係について、ペア内のオブジェクトの関係の強さに対応するスコアを出力します。トレーニング時に、トレーニング損失関数は、モデルによって予測された関係と、トレーニングデータでユーザーによって指定された関係との間の差異を最小にします。モデルをトレーニングした後、トレーニングされたエンコーダーを使用して、新しい入力オブジェクトを固定長の埋め込みに変換することができます。アーキテクチャ図とアーキテクチャの各部の説明は次のとおりです。リストとして表現された離散トークンのシーケンスを入力としてサポートしているため、入力データをサポートされている形式に変換するために前処理が必要です。それぞれのペアのオブジェクトは、互いに非対称であることもあります。ベースのリカレントニューラルネットワークをエンコーダーをサポートします。つのオブジェクト間の類似性の強さを表す評価またはスコアであってもかまいません。損失関数をサポートしています。アルゴリズムを複数提供しています。これらのアルゴリズムは、高性能でスケーラブルな機械学習を提供し、速度、スケール、精度が最適化されています。これらのアルゴリズムを使用して、ペタバイト規模のデータを学習できます。倍のパフォーマンスを提供するように設計されています。ついて探っていきます。アルゴリズムの詳細も説明します。アルゴリズムで類似性を決定するために使用する属性を定義します。クラスター中心を見つけるクラスター問題です。つの明確なクラスターが見えます。各クラスターにはクラスター中心があります。各クラスターの点は、他のクラスター中心より、割り当てられているクラスター中心に空間的に近いことに注意してください。数学的には、以下のように解釈できます。アルゴリズムは、明示的にラベル付されていない、大きなデータセットのパターンまたはグループを見つけることに適しています。さまざまなドメインでのいくつかのユースケースを紹介します。購入履歴またはクリックストリームアクティビティで顧客を分類。病気のパターン検出または成功する治療シナリオ。画像検出で類似画像をグループ化する。データセットの異常検知により、不正取引を検出。異常な購入パターンによるクレジットカード詐欺の検出。関する記事を複数回に分けてお届けします。本シリーズ記事で、グラフアプリケーションデータセットと、多数の異なるドメインおよび問題空間から取り出されたクエリを探求します。高速で信頼性が高い完全マネージド型グラフデータベースで、高度に連結されたデータの保存およびクエリ実行のために最適化されています。高度に連結されたデータを使用するオンラインアプリケーションでは、接続をナビゲートし、エンティティ同士のリレーションシップの強度、重要性または品質を活用できるような接続性能がクエリの仕事量で求められますが、まさに理想的な用途と言えます。皆さんは、こんな問いかけに遭遇したことがおありだと思います。これで、高度に連結されたデータの管理および意味を理解する必要性にすでにお気づきだと思います。本シリーズ記事はまず、世界のエアラインの運航ネットワークをモデリングしたオープンソースの航空路データセットで始めることにします。いうブックが付属しています。ノートブックとして提供します。各ノートブックには、サンプルデータおよびクエリ、ならびにデータモデル上の解説と本アプリケーションのユースケースに対応するクエリ設計テクニックが含まれています。スタックを起動します。リソースを作成することを確認します。増分学習を簡単に実行できるようになりました。組み込みビジュアル認識アルゴリズム、画像分類とオブジェクト検出のどちらもが、増分学習をすぐにサポートできるようになります。ビジュアル認識モデルを簡単にロードすることができます。増分学習は、既存の機械学習モデルの知識を新しいデータでさらにトレーニングすることによって継続的に拡張する技術です。したがって、訓練の開始時には、最初に無作為に初期化するのではなく、以前トレーニングを実行して得られたモデルの重みをロードしてから、新しいデータでモデルをさらにトレーニングし続けます。このようにして、以前トレーニングを実行してモデルが得た知識を保持し、それをさらに拡張します。これは、すべてのトレーニングデータに同時にアクセスすることができず、データはバッチ単位で経時的に取得し続ける場合に役立ちます。この学習テクニックを使用して、新しいトレーニングデータでモデルを再トレーニングするときに時間を節約し、リソースを計算することもできます。増分学習機能を使用して転移学習を実行する方法についても説明します。説明する際は、既存のモデルをシェルフから取り出して使用します。モデルズーから画像分類モデルを選択し、新しい分類タスクを実行するためのモデルをトレーニングする出発点として使用します。転移学習は、特定の機械学習タスクに対して最先端のリファレンスを実装した上で新しいモデルを構築することを可能にします。これは、深く複雑なネットワークを最初からトレーニングするのに十分なデータがない場合にも役立ちます。ビジュアル認識アルゴリズム、画像分類とオブジェクト検出の両方で、増分学習をサポートするサンプルノートブックを用意しました。ノートブックのコードスニペットを示します。モデルをトレーニングする場合、ノートブックにはステップバイステップの手順が記載されています。モデルが既にあるとします。モデルを使用するための入力チャネルを定義する。チャネルは、トレーニングアルゴリズムが使用できる名前付き入力データソースです。使用して、ノートブックインスタンスのライフサイクル設定を更新するか、関連付けを解除できるようになりました。使用することで、必要に応じて、ライフサイクル設定を関連付けるか、切り替えるか、または無効にすることができます。ノートブックインスタンスでデータ科学ワークスペースを構築するときに必要なセットアップを整理して、自動化するときに便利です。ノートブックインスタンスが開始するたびに、タスクのリストを実行できます。ライフサイクル設定を使用して、ノートブックインスタンスにパッケージやサンプルノートブックをインストールするか、データを事前ロードするか、ネットワークやセキュリティを設定するか、シェルスクリプトを使用してそれをカスタマイズすることができます。ライフサイクル設定を作成した後で、それを複数インスタンスで使用するか、将来の使用のために保存することができます。以前、ノートブックインスタンスを初めて作っているときに割り当てた1つである場合のみ、ライフサイクル設定を使用できます。ノートブックインスタンスを削除することによってのみ、ライフサイクル設定を無効にできます。更新するか、関連付けを解除できるようになりました。コンソールのライフサイクル設定を更新する方法は、次のとおりです。設定の更新のために、実行中のインスタンスを停止する必要があります。それを停止した後で、設定の更新が有効になったことがわかります。(設定の更新)をクリックして、メニューを使用してライフサイクル設定に進み、既存の設定を切り離すか、別のものに置き換えます。要求パラメータを示す例は、以下のとおりです。ドキュメンテーションページにアクセスできます。シニアテクニカルプロダクトマネージャーです。プラットフォームを使用して、人工知能を簡単に、アクセス可能に、スケーラブルにするという役割を担っています。彼は船乗りであり、科学と自然を崇拝し、碁やストラトキャスターのプレイヤーでもあります。大量のデータを保存するために必要なときに、ノートブックストレージボリュームをカスタマイズできるようになります。モデルを開発する際には重要です。そのストレージボリュームを使用して、大量のデータセットを処理するか、操作に使用する他のデータを一時的に保存することができます。増分値で選択できます。コンソールを使用してノートブックを作成するとき、ストレージボリュームを定義できます。単位でボリュームサイズを編集する必要があります。ニーズに応じて、ノートブックインスタンスのストレージボリュームをカスタマイズします。ドキュメントを参照して、ノートブックインスタンスを作成して、使用する方法の詳細についてご覧ください。シニアテクニカルプロダクトマネージャーです。プラットフォームを使用して、人工知能を簡単に、アクセス可能に、スケーラブルにするという役割を担っています。彼は船乗りであり、科学と自然を崇拝し、碁やストラトキャスターのプレイヤーでもあります。ノートブックインスタンスに対してサポートするようになりました。セットアップする方法を示します。規制へのコンプライアンスを維持するために、情報がインターネットを経由しないようにすることが必要になることがあります。公共インターネットへのデータの露出を防止することで、ブルートフォースや分散サービス拒否攻撃などの脅威ベクトルの可能性が減少します。公共インターネットへのデータの露出を排除することにより、クラウドベースのアプリケーションと共有するデータのセキュリティを簡素化します。サービス、オンプレミスアプリケーションの間のプライベート接続を可能にします。より、プライベートネットワークで直接、ホストされる場合と同様に、お使いのサービスが機能します。サポートを導入しました。使用して、ノートブックインスタンスへの接続も同様に保護することができるようになります。エンドポイントをセットアップする必要があります。オペレーションにプライベートにアクセスすることができます。SageMakerへ取り込みます。モデルのトレーニングを進めながら、データはPipe入力モードでアルゴリズムコンテナに直接流れます。(EBS)の容量でダウンロードするファイルモードとは異なります。Pipeモードを利用すると、トレーニングはより早く、かなり少ないディスク容量でより速く終了することができます。learningモデルをトレーニングする全体的なコストを削減することができます。Learnerアルゴリズムで、回帰モデルのトレーニングに利用した内部基準では、ファイルモードに代わりPipeモードを利用した場合、モデルのトレーニングに費やす時間は全体的に40%も削減される例がありました。Pipeモードと利点の詳細についてはブログの掲示板をご覧ください。recordIO形式のダータのみをサポートしていました。高処理のトレーニングジョブに特化した特殊な形式です。Pipe入力モードの持つ利点を、CSV形式のトレーニングデータセットでも活用できるようになりました。S3の位置を指定し、入力モードで「File」の代わりに「Pipe」を選択します。データ形式やコードの変更をする必要もなく、CSVデータセットはシームレスに流れてきます。CSV形式でデータセットに新しく実行されるPipeモードは、高度に最適化された高処理を可能にします。Learnerアルゴリズムを合成CSVデータセット上でトレーニングし、Pipe入力モードを使うとパフォーマンスが向上することを実証します。Learnerアルゴリズムをトレーニングしている間の、PipeモードとFileモードの全体的なトレーニングジョブ実施時間とモデルのトレーニング時間を比較したものです。SageMakerにサポートされているインスタンスタイプで40%も削減できることがわかります。バッチサイズが10の早期に実施していたトレーニング基準で再度実施してみました。Pipeモードを利用したパフォーマンスは著しい向上を見せ、モデルをトレーニングする合計時間はおよそ75%も削減されました。このような実験の結果は、Pipe入力モードが目覚ましいパフォーマンスの向上をもたらすということを明確に示しています。トレーニングインスタンスへデータセットをダウンロードすることから生じる遅れを避け、トレーニングジョブでより高度は読み込み処理ができるようになります。機会均等法を順守しています。平等に採用しています。