Google Distributed Cloud（GDC）エアギャップでオンライン予測を処理するには、インフラストラクチャ オペレーター（IO）と協力して予測クラスタを作成します。IO は予測プロジェクトを関連付け、必要なノードプールを割り当てます。次に、このクラスタに予測カスタム リソースをデプロイします。ここで、IO は予測ワークロードを作成します。
各組織に存在できる予測クラスタは 1 つのみです。ただし、IO は複数のプロジェクトをクラスタにアタッチして関連付け、エンドポイントを分離して整理できます。
始める前に
プロジェクトを設定して予測クラスタに予測リソースをデプロイするには、必要な権限が必要です。
IAM 組織ロールをリクエストする
IAM 組織管理者に連絡して、次のロールをリクエストしてください。
- プロジェクト作成者（
project-creator）: 組織に新しいプロジェクトを作成します。
IAM プロジェクト ロールをリクエストする
IAM プロジェクト管理者に連絡して、プロジェクトの名前空間で次のロールをリクエストします。
- Vertex AI Prediction 管理者（
vertex-ai-prediction-admin）: オンライン予測でモデルをデプロイするために使用されるリソースを管理します。
これらのロールの詳細については、IAM 権限を準備するをご覧ください。
予測クラスタをリクエストする
予測クラスタを作成するには、次の操作を行います。
オンライン予測用の新しいクラスタに関連付ける組織内のプロジェクトを特定します。
プロジェクトを作成するには、Vertex AI 用にプロジェクトを設定するをご覧ください。API 呼び出しを行うには、プロジェクト ID が必要です。
Distributed Cloud の使用可能なマシンタイプのリストから、クラスタ内のワークロードに必要なノードのマシンタイプを選択します。
選択するマシンタイプは、予測モデルのサイズと複雑さによって異なります。また、IO がクラスタに提供するコンピューティング リソースと画像処理装置（GPU）リソースを決定します。ノードのマシンタイプを選択する場合は、ノード選択の推奨事項に従ってください。
予測クラスタのケース テンプレートを使用して IO にメールを送信し、ケースをオープンして、クラスタの作成リクエストを送信します。
必要に応じて、プロジェクトに関連付けられた予測クラスタの作成と、クラスタ内の適切なノードプールの割り当てが完了するまで、IO と連絡を取ります。
クラスタのプロビジョニングが完了すると、予測クラスタはオンライン予測の準備が整います。
ノード選択の推奨事項
IO がクラスタにノードプールを作成するときに、Distributed Cloud の使用可能なマシンタイプのいずれかを割り当てて、ワーカーノードに事前定義されたリソースセットを提供します。モデルのサイズと複雑さに応じて、必要なコンピューティング パフォーマンスが異なり、その結果、特定の量の CPU、メモリ、GPU が必要になります。予測クラスタを作成する場合は、IO との通信でこれらの詳細を指定する必要があります。
IO で予測クラスタに必要なノードプールのマシンタイプを決定する場合は、次のプラクティスに従う必要があります。
- Distributed Cloud は、必須のシステム コンポーネントのノードにコンピューティング オーバーヘッドを追加します。したがって、モデルのリソースプールで使用するマシンタイプよりも大きいマシンタイプをノードプールに選択する必要があります。
- 要件に必要な最小限のメモリとコンピューティング リソースを提供するソリューションを選択します。たとえば、モデルに 8 個の vCPU が必要な場合は、
n2-highcpu-8-gdcマシンタイプを選択します。これは、Distributed Cloud で 8 個の vCPU と 8 GB のメモリを備えた最小のソリューションです。 - 進捗に応じて、より小規模なソリューションがニーズ、モデルのサイズ、複雑さに適していない場合にのみ、より高性能なソリューションを検討してください。最小権限の原則に従い、特定のワークフローの実行に必要なリソースのみを使用することが重要です。この責任あるアプローチにより、Distributed Cloud 環境でリソースを慎重に使用できます。
- モデルに GPU が必要な場合にのみ、GPU を搭載したソリューションを選択してください。
- モデルに GPU が必要な場合は、GPU を提供する最小のソリューションである
a2-highgpu-1g-gdcマシンタイプを検討してください。
予測クラスタのケース テンプレート
次のテンプレートを使用して、IO にメールを送信します。このメールにより、オンライン予測に必要な予測クラスタを作成するためのケースが開かれます。
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]