よって翻訳されました。必要に応じて、コンテンツの保存と分類を行います。「GoogleColabで実行」をクリックするだけです。ノートブックをダウンロードこのノートブックベースのチュートリアルでは、TFXパイプラインを作成して実行します。このパイプラインは、単純な分類モデルを作成し、複数の実行にわたるパフォーマンスを分析します。このノートブックは、私たちが組み込まTFXパイプラインに基づいていますシンプルなTFXパイプラインのチュートリアル。そのチュートリアルをまだ読んでいない場合は、このノートブックに進む前に読んでください。モデルを微調整したり、新しいデータセットでトレーニングしたりするときは、モデルが改善されたか、悪化したかを確認する必要があります。精度などのトップレベルのメトリックをチェックするだけでは不十分な場合があります。トレーニングされたすべてのモデルは、本番環境にプッシュする前に評価する必要があります。私たちは、追加されますEvaluator前のチュートリアルで作成したパイプラインにコンポーネントを。Evaluatorコンポーネントは、モデルの詳細な分析を実行し、新しいモデルをベースラインと比較して、モデルが「十分」であるかどうかを判断します。これは、使用して実装されTensorFlowモデル解析ライブラリを。参照してくださいTFXパイプラインが理解TFXの様々な概念についての詳細を学ぶために。設定セットアッププロセスは、前のチュートリアルと同じです。Pythonパッケージをインストールし、モデルに使用するデータセットをダウンロードする必要があります。アップグレードピップローカルで実行しているときにシステムでPipをアップグレードしないようにするには、Colabで実行していることを確認してください。ローカルシステムは個別にアップグレードできます。[ランタイムの再起動...]メニューを使用してランタイムを再起動する必要があります。これは、Colabがパッケージをロードする方法が原因です。TensorFlowとTFXのバージョンを確認してください。1.4.0変数を設定するパイプラインを定義するために使用されるいくつかの変数があります。これらの変数は必要に応じてカスタマイズできます。デフォルトでは、パイプラインからのすべての出力は現在のディレクトリの下に生成されます。level.サンプルデータを準備する私たちは、同じ使用しますパーマーペンギンデータセットを。このデータセットには、範囲[0,1]を持つようにすでに正規化されている4つの数値特徴があります。私たちは、予測、分類モデル構築するspeciesのペンギンのを。ExampleGenはディレクトリから入力を読み取るため、ディレクトリを作成してデータセットをそこにコピーする必要があります。0x7fa18a9da150>)パイプラインを作成する私たちは、追加されますEvaluator私たちが作成したパイプラインに部品をシンプルTFXパイプラインのチュートリアル。ANエバリュエータコンポーネントからの入力データを必要とExampleGen成分とからモデルTrainer成分とtfma.EvalConfigオブジェクト。オプションで、メトリックを新しくトレーニングされたモデルと比較するために使用できるベースラインモデルを提供できます。評価者は、出力成果物の2種類作成しModelEvaluationとModelBlessing。ModelEvaluationには、TFMAライブラリを使用してさらに調査および視覚化できる詳細な評価結果が含まれています。ModelBlessingには、モデルが特定の基準に合格したかどうかのブール結果が含まれており、プッシャーなどの後のコンポーネントで信号として使用できます。モデルトレーニングコードを書く私たちは、のように同じモデルのコードを使用するシンプルなTFXパイプラインのチュートリアル。penguin_trainer.pyパイプライン定義を書くTFXパイプラインを作成する関数を定義します。私たちは、上記の評価者のコンポーネントに加えて、我々はと呼ばれる1つの以上のノードを追加しますResolver。新しいモデルが以前のモデルよりも良くなっていることを確認するには、ベースラインと呼ばれる以前に公開されたモデルと比較する必要があります。MLMDから呼び出さ戦略クラス使用LatestBlessedModelStrategy。:構成する追加のメトリック(モデルで定義されているよりも多くのメトリックが必要な場合)。構成するスライス検証が含まれるかどうかを検証するためのモデル検証しきい値のでSparseCategoricalAccuracyすでに含まれていたmodel.compile()呼び出し、それが自動的に分析に含まれます。したがって、ここではメトリックを追加しません。SparseCategoricalAccuracyモデルがあまりにも、良い十分であるかどうかを決定するために使用されます。データセット全体と各ペンギン種の指標を計算します。SlicingSpec私たちが宣言したメトリックを集約方法を指定します。新しいモデルが通過する必要がある2つのしきい値があります。1つは0.6の絶対しきい値であり、もう1つはベースラインモデルよりも高くなければならない相対しきい値です。change_threshold無視され、唯一のvalue_thresholdがチェックされます。Resolver前回の実行からモデルを見つけるだろうし、それは比較のためのベースラインモデルとして使用されます。エバリュエータコンポーネントガイドの詳細については。パイプラインを実行する私たちは、使用するLocalDagRunner前のチュートリアルのように。finished.パイプラインが完了すると、次のようなものが表示されるはずです。pipelines/penguin-tfma/Evaluator/blessing/4.または、生成されたアーティファクトが保存されている出力ディレクトリを手動で確認することもできます。あなたが訪問した場合pipelines/penguin-tfma/Evaluator/blessing/ファイルbroswerでは、あなたが名前のファイルを参照することができますBLESSEDかNOT_BLESSED評価結果に応じて。プッシャーはにモデルをプッシュすることを拒否しますserving_model_dirモデルが生産に使用されるための良い十分ではありませんので、。異なる評価構成を使用して、パイプラインを再度実行できます。あなたは正確に同じ設定とデータセットとのパイプラインを実行している場合でも、訓練されたモデルは、につながる可能モデル訓練の固有のランダム性に起因する多少異なる場合がありますNOT_BLESSEDモデル。パイプラインの出力を調べますTFMAを使用して、ModelEvaluationアーティファクトの評価結果を調査および視覚化できます。注:あなたがコラボ上にない場合は、Jupyter拡張機能をインストール**あなたはTFMAから可視化を参照してくださいTensorFlowモデル分析の拡張が必要になります。この拡張機能はすでにGoogleColabにインストールされていますが、このノートブックを他の環境で実行している場合は、インストールが必要になる場合があります。中Jupyter延長の設置方向を参照してください。インストールガイドを。APIを使用して、これらの出力をプログラムで見つけることができます。最初に、生成されたばかりの出力アーティファクトを検索するためのいくつかの効用関数を定義します。[metadata_store_pb2.Event.OUTPUT])私たちは、最新の実行を見つけることができますEvaluatorコンポーネントを、それの出力アーティファクトを取得します。常に1つの評価アーティファクトを返し、私たちはTensorFlowモデル解析ライブラリを使用して、それを可視化することができます。次のコードは、各ペンギン種の精度メトリックをレンダリングします。'metrics...あなたが「sparse_categorical_accuracy」を選択した場合はShowドロップダウンリストには、種ごとの精度の値を見ることができます。スライスを追加して、モデルがすべての分布に適しているかどうか、およびバイアスの可能性があるかどうかを確認することをお勧めします。次のステップで、モデル分析に詳細情報TensorFlowモデル解析ライブラリのチュートリアル。あなたは上でより多くのリソースを見つけることができますhttps://www.tensorflow.org/tfx/tutorials参照してくださいTFXパイプラインが理解TFXの様々な概念についての詳細を学ぶために。ライセンスにより使用許諾されます。ライセンスにより使用許諾されます。サイトのポリシーをご覧ください。関連会社の登録商標です。