Hello カスタムトレーニング: カスタム画像分類モデルのトレーニング

詳細については、選択した環境で次のノートブックを実行してください。

「を使用して、バッチ予測用のカスタム画像分類モデルをトレーニングし、デプロイする。」
[Colab で開く] | [Colab Enterprise で開く] | [Agent Platform Workbench で開く] | [GitHub で表示]
「を使用して、オンライン予測用のカスタム画像分類モデルをトレーニングし、デプロイする。」
[Colab で開く] | [Colab Enterprise で開く] | [Agent Platform Workbench で開く] | [GitHub で表示]

このページでは、Agent Platform で TensorFlow Keras トレーニングアプリケーションを実行する方法について説明します。このモデルは、花の画像を種類別に分類できる画像分類モデルをトレーニングします。

このチュートリアルには複数のページが含まれます。

各ページは、前のページのチュートリアルの手順を実施済みであることを前提としています。

以降の内容は、チュートリアルの最初のページで作成した Cloud Shell 環境を使用していることを前提としています。元の Cloud Shell セッションをすでに閉じてしまった場合は、次の手順でその環境に戻ることができます。

コンソールで Cloud Shell をアクティブにします。 Google Cloud

Cloud Shell をアクティブにする
Cloud Shell セッションで次のコマンドを実行します。
```
cd hello-custom-sample
```

カスタムトレーニングパイプラインを実行する

このセクションでは、Cloud Storage にアップロードしたトレーニングパッケージを使用して Agent Platform カスタムトレーニングパイプラインを実行する方法について説明します。

コンソールの [Agent Platform] セクションで、 [トレーニングパイプライン] ページに移動します。 Google Cloud

[トレーニングパイプライン] に移動
[作成] をクリックして、[新しいモデルのトレーニング] ペインを開きます。
トレーニング方法の選択ステップで、次の手順を行います。
1. [データセット] プルダウンリストで、[管理されているデータセットなし] を選択します。この特定のトレーニングアプリケーションは、マネージド Agent Platform データセットではなく TensorFlow Datasets ライブラリからデータを読み込みます。
2. [カスタムトレーニング（上級者向け）] が選択されていることを確認します。
[続行] をクリックします。
[モデルの詳細] ステップの [名前] フィールドに「hello_custom」と入力します。[続行] をクリックします。
[トレーニングコンテナ] ステップで、Cloud Storage にアップロードしたトレーニングパッケージを使用するために必要な情報を Agent Platform に提供します。
1. [Prebuilt container] を選択します。
2. [モデルフレームワーク] プルダウンリストで [TensorFlow] を選択します。
3. [モデルフレームワークのバージョン] プルダウンリストで、[2.3] を選択します。
4. [パッケージの場所] フィールドに「cloud-samples-data/ai-platform/hello-custom/hello-custom-sample-v1.tar.gz」と入力します。
5. [Python モジュール] フィールドに「trainer.task」と入力します。trainer は tarball の Python パッケージの名前です。task.py にはトレーニングコードが含まれています。trainer.task は、Agent Platform で実行するモジュールの名前です。
6. [モデル出力ディレクトリ] フィールドで、[Browse] をクリックします。[フォルダの選択] ペインで次の手順を行います。
  1. Cloud Storage バケットに移動します。
  2. [新しいフォルダを作成] をクリックします。
  3. 新しいフォルダの名前を output とします。次に [作成] をクリックします。
  4. [選択] をクリックします。
  フィールドの値が gs://BUCKET_NAME/outputであることを確認します。ここで、BUCKET_NAME は Cloud Storage バケットの名前です。
  
  この値は、Agent Platform の baseOutputDirectory API フィールドに渡されます。この値に基づいて、トレーニングアプリケーションが実行時にアクセスする複数の環境変数が設定されます。
  
  たとえば、このフィールドを gs://BUCKET_NAME/output に設定すると、Agent Platform は環境変数を gs://BUCKET_NAME/output/model に設定します。AIP_MODEL_DIRトレーニングが終了すると、Agent Platform は AIP_MODEL_DIR ディレクトリのアーティファクトを使用してモデルリソースを作成します。
  
  詳しくは、このフィールドで設定される環境変数をご覧ください。
[続行] をクリックします。

オプションの [ハイパーパラメータ] ステップで、[Enable hyperparameter tuning] チェックボックスがオフになっていることを確認します。このチュートリアルでは、ハイパーパラメータ調整は使用しません。[続行] をクリックします。

[コンピューティングと料金] ステップで、カスタムトレーニングジョブのリソースを割り当てます。

[リージョン] プルダウンリストで、[us-central1（アイオワ）] を選択します。
[マシンタイプ] プルダウンリストで、[標準] セクションから [n1-standard-4] を選択します。

このチュートリアルでは、アクセラレータやワーカープールを追加しないでください。[続行] をクリックします。

[予測コンテナ] ステップで、Agent Platform が予測を行うために必要な情報を提供します。

[Prebuilt container] を選択します。
[Prebuilt container settings] セクションで、次の操作を行います。
1. [モデルフレームワーク] プルダウンリストで [TensorFlow] を選択します。
2. [モデルフレームワークのバージョン] プルダウンリストで、[2.3] を選択します。
3. [アクセラレータタイプ] プルダウンリストで、[なし] を選択します。
4. [モデルディレクトリ] フィールドの値が gs://BUCKET_NAME/output になっていることを確認します。ここで、BUCKET_NAME は Cloud Storage バケットの名前です。これは、前のステップで指定した [Model output directory] の値と一致します。
[予測 schemata] セクションのフィールドは空白のままにします。

[トレーニングを開始] をクリックして、カスタムトレーニングパイプラインを開始します。

[トレーニング] ページに、hello_custom という名前の新しいトレーニングパイプラインが表示されます（ページの更新が必要になる場合があります）。トレーニングパイプラインは、次の 2 つの主要な処理を行います。

トレーニングパイプラインが、hello_custom-custom-job という名前のカスタムジョブリソースを作成します。しばらくすると、[トレーニング] セクションの [CUSTOM JOB] ページにこのリソースが表示されます。

[CUSTOM JOB] に移動

カスタムジョブは、このセクションで指定されたコンピューティングリソースを使用してトレーニングアプリケーションを実行します。
カスタムジョブが完了すると、トレーニングパイプラインにより、トレーニングアプリケーションが作成したアーティファクトが検出されます。このアーティファクトは Cloud Storage バケットの output/model/ ディレクトリに作成されます。これらのアーティファクトを使用してモデルリソースを作成します。

トレーニングをモニタリングする

トレーニングログを表示する方法は次のとおりです。

コンソールの [Agent Platform] セクションで、 [**カスタムジョブ**] ページに移動します。 Google Cloud

[カスタムジョブ] に移動
作成した CustomJob の詳細を表示するには、リスト内の hello_custom-custom-job をクリックします。
ジョブの詳細ページで、[ログを表示] をクリックします。