予測カスタム リソースは、Infrastructure Operator（IO）が作成する予測クラスタにデプロイする必要があります。オペレーターは、この同じクラスタに予測ワークロードを作成します。
予測クラスタを作成するには、IO と連携して予測プロジェクトを関連付け、Google Distributed Cloud（GDC）エアギャップでのオンライン予測に必要なノードプールを割り当てます。
始める前に
プロジェクトを設定して予測クラスタに予測リソースをデプロイするには、必要な権限が必要です。
IAM 組織ロールをリクエストする
IAM 組織管理者に連絡して、次のロールをリクエストしてください。
- プロジェクト作成者（
project-creator）: 組織に新しいプロジェクトを作成します。
IAM プロジェクト ロールをリクエストする
IAM プロジェクト管理者に連絡して、プロジェクトの名前空間で次のロールをリクエストします。
- Vertex AI Prediction 管理者（
vertex-ai-prediction-admin）: オンライン予測でモデルをデプロイするために使用されるリソースを管理します。
これらのロールの詳細については、IAM 権限を準備するをご覧ください。
予測クラスタをリクエストする
予測クラスタを作成するには、次の操作を行います。
オンライン予測用の新しいクラスタに関連付ける組織内のプロジェクトを特定します。
プロジェクトを作成するには、Vertex AI 用にプロジェクトを設定するをご覧ください。API 呼び出しを行うには、プロジェクト ID が必要です。
Distributed Cloud の使用可能なマシンタイプのリストから、ワークロードがクラスタで必要とするノードのマシンタイプを選択します。
選択するマシンタイプは、予測モデルのサイズと複雑さによって異なります。また、IO がクラスタに提供するコンピューティング リソースと画像処理装置（GPU）リソースを決定します。ノードのマシンタイプを選択する場合は、ノード選択の推奨事項に従ってください。
予測クラスタのケース テンプレートを使用して IO にメールを送信し、ケースをオープンして、クラスタの作成リクエストを送信します。
必要に応じて、プロジェクトに関連付けられた予測クラスタの作成と、クラスタ内の適切なノードプールの割り当てが完了するまで、IO と連絡を取ります。
クラスタのプロビジョニングが完了すると、予測クラスタでオンライン予測を実行できるようになります。
ノード選択の推奨事項
IO がクラスタにノードプールを作成するときに、Distributed Cloud の使用可能なマシンタイプのいずれかを割り当てて、ワーカーノードに事前定義されたリソースセットを提供します。モデルのサイズと複雑さに応じて、必要なコンピューティング パフォーマンスが異なります。そのため、特定の量の CPU、メモリ、GPU が必要になります。予測クラスタを作成する場合は、IO との通信でこれらの詳細を指定する必要があります。
IO で予測クラスタに必要なノードプールのマシンタイプを決定する場合は、次の方法に沿って行う必要があります。
- Distributed Cloud は、必須のシステム コンポーネントのノードにコンピューティング オーバーヘッドを追加します。したがって、モデルのリソースプールで使用するマシンタイプよりも大きいマシンタイプをノードプールに選択する必要があります。
- 要件に必要な最小限のメモリとコンピューティング リソースを提供するソリューションを選択します。たとえば、モデルに 8 個の vCPU が必要な場合は、
n2-highcpu-8-gdcマシンタイプを選択します。これは、Distributed Cloud で 8 個の vCPU と 8 GB のメモリを備えた最小のソリューションです。 - 開発が進むにつれて、より小規模なソリューションではニーズやモデルのサイズと複雑さに対応できない場合にのみ、より高性能なソリューションを検討してください。最小権限の原則に従い、特定のワークフローの実行に必要なリソースのみを使用することが重要です。この責任あるアプローチにより、Distributed Cloud 環境でリソースを慎重に使用できます。
- モデルに GPU が必要な場合にのみ、GPU を搭載したソリューションを選択してください。
- モデルに GPU が必要な場合は、GPU を提供する最小のソリューションである
a2-highgpu-1g-gdcマシンタイプを検討してください。
予測クラスタのケース テンプレート
次のテンプレートを使用して、IO にメールを送信します。このメールにより、オンライン予測に必要な予測クラスタを作成するためのケースが開かれます。
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]