よって翻訳されました。必要に応じて、コンテンツの保存と分類を行います。CloudBigQueryを使用します。CloudVertexパイプラインで実行されます。このノートブックは、VertexPipelinesチュートリアル用のSimpleTFXPipelineで構築したTFXパイプラインに基づいています。そのチュートリアルをまだ読んでいない場合は、このノートブックに進む前に読んでください。BigQueryはサーバーレスで、拡張性が高く、費用対効果の高いマルチクラウドデータウェアハウスであり、ビジネスの俊敏性を実現するように設計されています。TFXを使用して、BigQueryからトレーニングデータを読み取り、トレーニング済みモデルをBigQueryに公開できます。このチュートリアルでは、BigQueryからTFXパイプラインにデータを読み取るBigQueryExampleGenコンポーネントを使用します。GoogleColabまたはAIプラットフォームノートブックで実行することを目的としています。これらのいずれかを使用していない場合は、上の[GoogleColabで実行]ボタンをクリックするだけです。Pipelinesチュートリアルを完了すると、GCPプロジェクトとGCSバケットが機能するようになり、このチュートリアルに必要なのはこれだけです。見逃した場合は、最初に予備チュートリアルをお読みください。PythonパッケージをインストールするTFXやKFPなどの必要なPythonパッケージをインストールして、MLパイプラインを作成し、VertexPipelinesにジョブを送信します。[ランタイムの再起動...]メニューを使用してランタイムを再起動する必要があります。これは、Colabがパッケージをロードする方法が原因です。Colabを使用していない場合は、次のセルでランタイムを再開できます。app.kernel.do_shutdown(True)このノートブックのためにGoogleにログインしますこのノートブックをColabで実行している場合は、ユーザーアカウントで認証します。auth.authenticate_user()AIプラットフォームノートブックを使用している場合は、次のセクションを実行する前に、GoogleCloudで認証してください。[新規]から開くことができます)。これは、ノートブックインスタンスごとに1回だけ実行する必要があります。パッケージのバージョンを確認してください。1.8.11変数を設定する以下のパイプラインをカスタマイズするために使用されるいくつかの変数を設定します。GCPプロジェクトのIDと番号。プロジェクトIDと番号の識別を参照してください。パイプラインを実行するGCPリージョン。VertexAIロケーションガイドを参照してください。StorageBucket。実行する前に、下のセルに必要な値を入力してください。parameters.プロジェクトを使用するようにgcloudを設定します。gs:///pipeline_root/penguin-bigqueryデフォルトでは、VertexPipelinesは[project-number]-compute@developer.gserviceaccount.com形式のデフォルトのGCEVMサービスアカウントを使用します。パイプラインでBigQueryにアクセスするには、このアカウントにBigQueryを使用する権限を与える必要があります。アカウントに「BigQueryユーザー」の役割を追加します。Vertexのドキュメントを参照してください。パイプラインを作成するTFXパイプラインは、頂点パイプラインチュートリアルのシンプルなTFXパイプラインで行ったようにPythonAPIを使用して定義されます。以前は、CSVファイルからデータを読み取るCsvExampleGenを使用していました。このチュートリアルでは、BigQueryからデータを読み取るBigQueryExampleGenコンポーネントを使用します。BigQueryクエリを準備する同じPalmerPenguinsデータセットを使用します。同じCSVファイルを使用して入力されたBigQueryテーブルtfx-oss-public.palmer_penguins.palmer_penguinsから読み取ります。Colabを使用している場合は、BigQueryテーブルのコンテンツを直接調べることができます。5ラベルでspeciesを除いて、すべての特徴はすでに0〜1に正規化されています。ペンギンのspeciesを予測する分類モデルを構築します。BigQueryExampleGenには、フェッチするデータを指定するためのクエリが必要です。テーブル内のすべての行のすべてのフィールドを使用するため、クエリは非常に単純です。WHERE条件を追加することもできます。`tfx-oss-public.palmer_penguins.palmer_penguins`"モデルコードを記述します。PipelineTutorialと同じモデルコードを使用します。penguin_trainer.pyプレースホルダー19モジュールファイルをパイプラインコンポーネントからアクセスできるGCSにコピーします。モデルトレーニングはGCPで行われるため、このモデル定義をアップロードする必要があります。それ以外の場合は、モジュールファイルを含むコンテナイメージを作成し、そのイメージを使用してパイプラインを実行することをお勧めします。"gs:///pipeline_module/penguin-bigquery/".パイプライン定義を書くTFXパイプラインを作成する関数を定義します。引数としてqueryをBigQueryExampleGenを使用する必要があります。前のチュートリアルからのもう1つの変更は、コンポーネントの実行時にコンポーネントに渡されるbeam_pipeline_argsを渡す必要があることです。beam_pipeline_argsを使用して、BigQueryに追加のパラメーターを渡します。beam_pipeline_args=beam_pipeline_args)頂点パイプラインでパイプラインを実行します。頂点パイプラインチュートリアルの単純なTFXパイプラインで行ったように、頂点パイプラインを使用してパイプラインを実行します。BigQueryExampleGenのbeam_pipeline_argsを渡す必要があります。GCPプロジェクトの名前やBigQuery実行用の一時ストレージなどの設定が含まれています。beam_pipeline_args=BIG_QUERY_WITH_DIRECT_RUNNER_BEAM_PIPELINE_ARGS))生成された定義ファイルは、kfpクライアントを使用して送信できます。Pipelines]にアクセスして、進行状況を確認できます。ライセンスにより使用許諾されます。ライセンスにより使用許諾されます。サイトのポリシーをご覧ください。関連会社の登録商標です。