Men-deploy model ke endpoint

Pratinjau: Prediksi Online adalah fitur Pratinjau yang tersedia apa adanya dan tidak direkomendasikan untuk lingkungan produksi. Google tidak memberikan perjanjian tingkat layanan (SLA) atau komitmen dukungan teknis untuk fitur Pratinjau. Untuk mengetahui informasi selengkapnya, lihat tahapan fitur GDC.

Catatan: Otorisasi tidak diterapkan untuk Prediksi Online karena merupakan fitur Pratinjau.

Anda harus men-deploy model ke endpoint sebelum dapat menggunakan model tersebut untuk menyajikan prediksi online. Men-deploy model akan mengaitkan resource fisik untuk menyajikan prediksi online dengan latensi rendah.

Halaman ini menjelaskan langkah-langkah yang harus Anda ikuti untuk men-deploy model ke endpoint menggunakan Prediksi Online.

Sebelum memulai

Untuk men-deploy model Prediksi Online, hubungi Admin Project IAM Anda untuk meminta peran Vertex AI Prediction Admin (vertex-ai-prediction-admin) di namespace project Anda.

Untuk mengetahui informasi selengkapnya tentang peran ini, lihat Menyiapkan izin IAM.

Sebelum men-deploy model ke endpoint, ekspor artefak model untuk prediksi dan pastikan Anda memenuhi semua prasyarat dari halaman tersebut.

Membuat kumpulan resource

Resource kustom ResourcePool memungkinkan Anda memiliki kontrol terperinci atas perilaku model. Anda dapat menentukan setelan seperti berikut:

• Konfigurasi penskalaan otomatis.
• Jenis mesin, yang menentukan persyaratan CPU dan memori.
• Opsi akselerator seperti resource GPU.

Jenis mesin sangat penting untuk permintaan spesifikasi node pool yang Anda kirim untuk membuat cluster prediksi.

Untuk kumpulan resource model yang di-deploy, jumlah dan jenis akselerator menentukan penggunaan GPU. Jenis mesin hanya menentukan resource CPU dan memori yang diminta. Oleh karena itu, saat menyertakan akselerator GPU dalam spesifikasi ResourcePool, kolom machineType mengontrol persyaratan CPU dan memori untuk model, sedangkan kolom acceleratorType mengontrol GPU. Selain itu, kolom acceleratorCount mengontrol jumlah slice GPU.

Penting: Anda harus memberikan unit komputasi yang lebih sedikit ke kumpulan resource daripada ke node pool. Misalnya, jika Anda menggunakan node pool dengan jenis mesin GPU, seperti a2-highgpu-1g-gdc, Anda memiliki 12 vCPU. Oleh karena itu, Anda harus menentukan jenis mesin CPU yang lebih kecil untuk kumpulan resource. Selain itu, tentukan kolom acceleratorType dan acceleratorCount untuk mengaktifkan workload GPU. Dalam contoh yang sama ini, Anda akan memilih jenis mesin dalam spesifikasi ResourcePool dengan maksimum 8 vCPU dan menentukan kolom acceleratorType untuk workload GPU.

Ikuti langkah-langkah berikut untuk membuat resource kustom ResourcePool:

1. Buat file YAML yang menentukan resource kustom ResourcePool. Contoh berikut berisi file YAML untuk kumpulan resource dengan akselerator GPU (model berbasis GPU) dan tanpa akselerator GPU (model berbasis CPU):

   Model berbasis GPU

     apiVersion: prediction.aiplatform.gdc.goog/v1
     kind: ResourcePool
     metadata:
       name: RESOURCE_POOL_NAME
       namespace: PROJECT_NAMESPACE
     spec:
       resourcePoolID: RESOURCE_POOL_NAME
       enableContainerLogging: false
       dedicatedResources:
         machineSpec:
           # The system adds computing overhead to the nodes for mandatory components.
           # Choose a machineType value that allocates fewer CPU and memory resources
           # than those used by the nodes in the prediction cluster.
           machineType: a2-highgpu-1g-gdc
           acceleratorType: nvidia-a100-80gb
           # The accelerator count is a slice of the requested virtualized GPUs.
           # The value corresponds to one-seventh of 80 GB of GPUs for each count.
           acceleratorCount: 2
         autoscaling:
           minReplica: 2
           maxReplica: 10
   

   Catatan: Contoh ini menunjukkan nama tag Multi-Instance GPU (MIG) parsial untuk jenis akselerator GPU di kolom acceleratorType (nvidia-a100-80gb). Namun, format dengan nama tag MIG lengkap juga didukung, seperti nvidia.com/mig-1g.12gb-NVIDIA_H100_NVL.

   Model berbasis CPU

     apiVersion: prediction.aiplatform.gdc.goog/v1
     kind: ResourcePool
     metadata:
       name: RESOURCE_POOL_NAME
       namespace: PROJECT_NAMESPACE
     spec:
       resourcePoolID: RESOURCE_POOL_NAME
       enableContainerLogging: false
       dedicatedResources:
         machineSpec:
           # The system adds computing overhead to the nodes for mandatory components.
           # Choose a machineType value that allocates fewer CPU and memory resources
           # than those used by the nodes in the prediction cluster.
           machineType: n2-highcpu-8-gdc
         autoscaling:
           minReplica: 2
           maxReplica: 10
   

   Ganti kode berikut:

   • RESOURCE_POOL_NAME: nama yang ingin Anda berikan ke file definisi ResourcePool.
   • PROJECT_NAMESPACE: nama namespace project yang terkait dengan cluster prediksi.

   Ubah nilai pada kolom dedicatedResources sesuai dengan kebutuhan resource Anda dan apa yang tersedia di cluster prediksi Anda.

2. Terapkan file definisi ResourcePool ke cluster prediksi:

   kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG apply -f RESOURCE_POOL_NAME.yaml
   

   Ganti kode berikut:

   • PREDICTION_CLUSTER_KUBECONFIG: jalur ke file kubeconfig di cluster prediksi.
   • RESOURCE_POOL_NAME: nama file definisi ResourcePool.

Saat Anda membuat resource kustom ResourcePool, Kubernetes API dan layanan webhook akan memvalidasi file YAML dan melaporkan keberhasilan atau kegagalan. Operator prediksi menyediakan dan mencadangkan resource Anda dari kumpulan resource saat Anda men-deploy model ke endpoint.

Men-deploy model ke endpoint

Jika memiliki kumpulan resource, Anda dapat men-deploy lebih dari satu model ke satu endpoint, dan dapat men-deploy model ke beberapa endpoint. Men-deploy model prediksi yang menargetkan container yang didukung. Bergantung pada apakah endpoint sudah ada atau belum, pilih salah satu dari dua metode berikut:

• Men-deploy model ke endpoint baru
• Men-deploy model ke endpoint yang ada

Men-deploy model ke endpoint baru

Ikuti langkah-langkah berikut untuk men-deploy model prediksi ke endpoint baru:

1. Buat file YAML yang menentukan resource kustom DeployedModel:

   TensorFlow

   File YAML berikut menunjukkan contoh konfigurasi untuk model TensorFlow:

   apiVersion: prediction.aiplatform.gdc.goog/v1
   kind: DeployedModel
   metadata:
     name: DEPLOYED_MODEL_NAME
     namespace: PROJECT_NAMESPACE
   spec:
     # The endpoint path structure is endpoints/<endpoint-id>
     endpointPath: endpoints/PREDICTION_ENDPOINT
     modelSpec:
       # The artifactLocation field must be the s3 path to the folder that
       # contains the various model versions.
       # For example, s3://my-prediction-bucket-fqn/tensorflow
       artifactLocation: s3://PATH_TO_MODEL
       # The value in the id field must be unique to each model.
       id: img-detection-model
       modelDisplayName: my_img_detection_model
       # The model resource name structure is models/<model-id>/<model-version-id>
       modelResourceName: models/img-detection-model/1
       # The model version ID must match the name of the first folder in
       # the artifactLocation bucket, inside the 'tensorflow' folder.
       # For example, if the bucket path is
       # s3://my-prediction-bucket-fqn/tensorflow/1/,
       # then the value for the model version ID is "1".
       modelVersionID: "1"
       modelContainerSpec:
         args:
         - --model_config_file=/models/models.config
         - --rest_api_port=8080
         - --port=8500
         - --file_system_poll_wait_seconds=30
         - --model_config_file_poll_wait_seconds=30
         command:
         - /bin/tensorflow_model_server
         # The image URI field must contain one of the following values:
         # For CPU-based models: gcr.io/aiml/prediction/containers/tf2-cpu.2-18:latest
         # For GPU-based models: gcr.io/aiml/prediction/containers/tf2-gpu.2-18:latest
         imageURI: gcr.io/aiml/prediction/containers/tf2-gpu.2-18:latest
         ports:
         - 8080
         grpcPorts:
         - 8500
     resourcePoolRef:
       kind: ResourcePool
       name: RESOURCE_POOL_NAME
       namespace: PROJECT_NAMESPACE
   

   Ganti kode berikut:

   • DEPLOYED_MODEL_NAME: nama yang ingin Anda berikan ke file definisi DeployedModel.
   • PROJECT_NAMESPACE: nama namespace project yang terkait dengan cluster prediksi.
   • PREDICTION_ENDPOINT: nama yang ingin Anda berikan ke endpoint baru, seperti my-img-prediction-endpoint.
   • PATH_TO_MODEL: jalur ke model Anda di bucket penyimpanan.
   • RESOURCE_POOL_NAME: nama yang Anda berikan ke file definisi ResourcePool saat membuat kumpulan resource untuk menghosting model.

   Ubah nilai di kolom lainnya sesuai dengan model prediksi Anda.

   PyTorch

   File YAML berikut menunjukkan contoh konfigurasi untuk model PyTorch:

   apiVersion: prediction.aiplatform.gdc.goog/v1
   kind: DeployedModel
   metadata:
     name: DEPLOYED_MODEL_NAME
     namespace: PROJECT_NAMESPACE
   spec:
     endpointPath: PREDICTION_ENDPOINT
     endpointInfo:
       id: PREDICTION_ENDPOINT
     modelSpec:
       # The artifactLocation field must be the s3 prefix that
       # includes the model artifacts for the model version.
       # For example, s3://my-prediction-bucket-fqn/pytorch-model/1
       artifactLocation: s3://PATH_TO_MODEL
       # The value in the id field must be unique to each model.
       id: "pytorch"
       modelDisplayName: my-pytorch-model
       # The model resource name structure is models/<model-id>/<model-version-id>
       modelResourceName: models/pytorch/1
       modelVersionID: "1"
       modelContainerSpec:
         # The image URI field must contain one of the following values:
         # For CPU-based models: gcr.io/aiml/prediction/containers/pytorch-cpu.2-1:latest
         # For GPU-based models: gcr.io/aiml/prediction/containers/pytorch-gpu.2-1:latest
         imageURI: gcr.io/aiml/prediction/containers/pytorch-cpu.2-1:latest
         ports:
         - 8080
         grpcPorts:
         - 7070
     sharesResourcePool: false
     resourcePoolRef:
       kind: ResourcePool
       name: RESOURCE_POOL_NAME
       namespace: PROJECT_NAMESPACE
   

   Ganti kode berikut:

   • DEPLOYED_MODEL_NAME: nama yang ingin Anda berikan ke file definisi DeployedModel.
   • PROJECT_NAMESPACE: nama namespace project yang terkait dengan cluster prediksi.
   • PREDICTION_ENDPOINT: nama yang ingin Anda berikan ke endpoint baru, seperti my-img-prediction-endpoint.
   • PATH_TO_MODEL: jalur ke model Anda di bucket penyimpanan.
   • RESOURCE_POOL_NAME: nama yang Anda berikan ke file definisi ResourcePool saat membuat kumpulan resource untuk menghosting model.

   Ubah nilai di kolom lainnya sesuai dengan model prediksi Anda.

2. Terapkan file definisi DeployedModel ke cluster prediksi:

   kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG apply -f DEPLOYED_MODEL_NAME.yaml
   

   Ganti kode berikut:

   • PREDICTION_CLUSTER_KUBECONFIG: jalur ke file kubeconfig di cluster prediksi.
   • DEPLOYED_MODEL_NAME: nama file definisi DeployedModel.

   Saat Anda membuat resource kustom DeployedModel, Kubernetes API dan layanan webhook akan memvalidasi file YAML dan melaporkan keberhasilan atau kegagalan. Operator prediksi merekonsiliasi resource kustom DeployedModel dan menayangkannya di cluster prediksi.

   Tips: Anda dapat memeriksa status resource kustom DeployedModel dan memastikan resource tersebut siap menerima permintaan prediksi menggunakan perintah kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG get -f DEPLOYED_MODEL_NAME.yaml -o jsonpath='{.status.primaryCondition}'. DeployedModel harus dalam status siap.

3. Buat file YAML yang menentukan resource kustom Endpoint.

   File YAML berikut menunjukkan contoh konfigurasi:

   apiVersion: aiplatform.gdc.goog/v1
   kind: Endpoint
   metadata:
     name: ENDPOINT_NAME
     namespace: PROJECT_NAMESPACE
   spec:
     createDns: true
     id: PREDICTION_ENDPOINT
     destinations:
       - serviceRef:
           kind: DeployedModel
           name: DEPLOYED_MODEL_NAME
           namespace: PROJECT_NAMESPACE
         trafficPercentage: 50
         grpcPort: 8501
         httpPort: 8081
       - serviceRef:
           kind: DeployedModel
           name: DEPLOYED_MODEL_NAME_2
           namespace: PROJECT_NAMESPACE
         trafficPercentage: 50
         grpcPort: 8501
         httpPort: 8081
   

   Ganti kode berikut:

   • ENDPOINT_NAME: nama yang ingin Anda berikan ke file definisi Endpoint.
   • PROJECT_NAMESPACE: nama namespace project yang terkait dengan cluster prediksi.
   • PREDICTION_ENDPOINT: nama endpoint baru. Anda menentukan nama ini di file definisi DeployedModel.
   • DEPLOYED_MODEL_NAME: nama yang Anda berikan ke file definisi DeployedModel.

   Anda dapat memiliki satu atau beberapa tujuan serviceRef. Jika Anda memiliki objek serviceRef kedua, tambahkan objek tersebut ke file YAML di kolom destinations dan ganti DEPLOYED_MODEL_NAME_2 dengan nama yang Anda berikan ke file definisi DeployedModel kedua yang Anda buat. Terus tambahkan atau hapus objek serviceRef sesuai kebutuhan, bergantung pada jumlah model yang Anda deploy.

   Tetapkan kolom trafficPercentage berdasarkan cara Anda ingin membagi traffic antara model di endpoint ini. Ubah nilai pada kolom yang tersisa sesuai dengan konfigurasi endpoint Anda.

4. Terapkan file definisi Endpoint ke cluster prediksi:

   kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG apply -f ENDPOINT_NAME.yaml
   

   Ganti ENDPOINT_NAME dengan nama file definisi Endpoint.

Untuk mendapatkan jalur URL endpoint untuk model prediksi, jalankan perintah berikut:

kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG get endpoint PREDICTION_ENDPOINT -n PROJECT_NAMESPACE -o jsonpath='{.status.endpointFQDN}'

Ganti kode berikut:

• PREDICTION_CLUSTER_KUBECONFIG: jalur ke file kubeconfig di cluster prediksi.
• PREDICTION_ENDPOINT: nama endpoint baru.
• PROJECT_NAMESPACE: nama namespace project prediksi.

Men-deploy model ke endpoint yang ada

Anda hanya dapat men-deploy model ke endpoint yang sudah ada jika sebelumnya Anda telah men-deploy model lain ke endpoint tersebut saat masih baru. Sistem memerlukan langkah sebelumnya ini untuk membuat endpoint.

Ikuti langkah-langkah berikut untuk men-deploy model prediksi ke endpoint yang ada:

1. Buat file YAML yang menentukan resource kustom DeployedModel.

   File YAML berikut menunjukkan contoh konfigurasi:

   apiVersion: prediction.aiplatform.gdc.goog/v1
   kind: DeployedModel
   metadata:
     name: DEPLOYED_MODEL_NAME
     namespace: PROJECT_NAMESPACE
   spec:
     # The endpoint path structure is endpoints/<endpoint-id>
     endpointPath: endpoints/PREDICTION_ENDPOINT
     modelSpec:
       # The artifactLocation field must be the s3 path to the folder that
       # contains the various model versions.
       # For example, s3://my-prediction-bucket-fqn/tensorflow
       artifactLocation: s3://PATH_TO_MODEL
       # The value in the id field must be unique to each model.
       id: img-detection-model-v2
       modelDisplayName: my_img_detection_model
       # The model resource name structure is models/<model-id>/<model-version-id>
       modelResourceName: models/img-detection-model/2
       # The model version ID must match the name of the first folder in
       # the artifactLocation bucket,
       # inside the 'tensorflow' folder.
       # For example, if the bucket path is
       # s3://my-prediction-bucket-fqn/tensorflow/2/,
       # then the value for the model version ID is "2".
       modelVersionID: "2"
       modelContainerSpec:
         args:
         - --model_config_file=/models/models.config
         - --rest_api_port=8080
         - --port=8500
         - --file_system_poll_wait_seconds=30
         - --model_config_file_poll_wait_seconds=30
         command:
         - /bin/tensorflow_model_server
         # The image URI field must contain one of the following values:
         # For CPU-based models: gcr.io/aiml/prediction/containers/tf2-cpu.2-6:latest
         # For GPU-based models: gcr.io/aiml/prediction/containers/tf2-gpu.2-6:latest
         imageURI: gcr.io/aiml/prediction/containers/tf2-gpu.2-6:latest
         ports:
         - 8080
         grpcPorts:
         - 8500
     resourcePoolRef:
       kind: ResourcePool
       name: RESOURCE_POOL_NAME
       namespace: PROJECT_NAMESPACE
   

   Ganti kode berikut:

   • DEPLOYED_MODEL_NAME: nama yang ingin Anda berikan ke file definisi DeployedModel.
   • PROJECT_NAMESPACE: nama namespace project yang terkait dengan cluster prediksi.
   • PREDICTION_ENDPOINT: nama endpoint yang ada, seperti my-img-prediction-endpoint.
   • PATH_TO_MODEL: jalur ke model Anda di bucket penyimpanan.
   • RESOURCE_POOL_NAME: nama yang Anda berikan ke file definisi ResourcePool saat Anda membuat kumpulan resource untuk menghosting model.

   Ubah nilai pada kolom lainnya sesuai dengan model prediksi Anda.

2. Terapkan file definisi DeployedModel ke cluster prediksi:

   kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG apply -f DEPLOYED_MODEL_NAME.yaml
   

   Ganti kode berikut:

   • PREDICTION_CLUSTER_KUBECONFIG: jalur ke file kubeconfig di cluster prediksi.
   • DEPLOYED_MODEL_NAME: nama file definisi DeployedModel.

   Saat Anda membuat resource kustom DeployedModel, Kubernetes API dan layanan webhook akan memvalidasi file YAML dan melaporkan keberhasilan atau kegagalan. Operator prediksi merekonsiliasi resource kustom DeployedModel dan menayangkannya di cluster prediksi.

   Tips: Anda dapat memeriksa status resource kustom DeployedModel dan memastikan resource tersebut siap menerima permintaan prediksi menggunakan perintah kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG get -f DEPLOYED_MODEL_NAME.yaml -o jsonpath='{.status.primaryCondition}'. DeployedModel harus dalam status siap.

3. Tampilkan detail resource kustom Endpoint yang ada:

   kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG describe -f ENDPOINT_NAME.yaml
   

   Ganti ENDPOINT_NAME dengan nama file definisi Endpoint.

4. Perbarui file YAML dari definisi resource kustom Endpoint dengan menambahkan objek serviceRef baru di kolom destinations. Pada objek baru, sertakan nama layanan yang sesuai berdasarkan resource kustom DeployedModel yang baru Anda buat.

   File YAML berikut menunjukkan contoh konfigurasi:

   apiVersion: aiplatform.gdc.goog/v1
   kind: Endpoint
   metadata:
     name: ENDPOINT_NAME
     namespace: PROJECT_NAMESPACE
   spec:
     createDns: true
     id: PREDICTION_ENDPOINT
     destinations:
       - serviceRef:
           kind: DeployedModel
           name: DEPLOYED_MODEL_NAME
           namespace: PROJECT_NAMESPACE
         trafficPercentage: 40
         grpcPort: 8501
         httpPort: 8081
       - serviceRef:
           kind: DeployedModel
           name: DEPLOYED_MODEL_NAME_2
           namespace: PROJECT_NAMESPACE
         trafficPercentage: 50
         grpcPort: 8501
         httpPort: 8081
       - serviceRef:
           kind: DeployedModel
           name: DEPLOYED_MODEL_NAME_3
           namespace: PROJECT_NAMESPACE
         trafficPercentage: 10
         grpcPort: 8501
         httpPort: 8081
   

   Ganti kode berikut:

   • ENDPOINT_NAME: nama file definisi Endpoint yang ada.
   • PROJECT_NAMESPACE: nama namespace project yang terkait dengan cluster prediksi.
   • PREDICTION_ENDPOINT: nama endpoint yang ada. Anda mereferensikan nama ini pada file definisi DeployedModel.
   • DEPLOYED_MODEL_NAME: nama file definisi DeployedModel yang dibuat sebelumnya.
   • DEPLOYED_MODEL_NAME_2: nama yang Anda berikan ke file definisi DeployedModel yang baru dibuat.

   Anda dapat memiliki satu atau beberapa tujuan serviceRef. Jika Anda memiliki objek serviceRef ketiga, tambahkan objek tersebut ke file YAML di kolom destinations dan ganti DEPLOYED_MODEL_NAME_3 dengan nama yang Anda berikan ke file definisi DeployedModel ketiga yang Anda buat. Terus tambahkan atau hapus objek serviceRef sesuai kebutuhan, bergantung pada jumlah model yang Anda deploy.

   Tetapkan kolom trafficPercentage berdasarkan cara Anda ingin membagi traffic di antara model endpoint ini. Ubah nilai pada kolom yang tersisa sesuai dengan konfigurasi endpoint Anda.

5. Terapkan file definisi Endpoint ke cluster prediksi:

   kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG apply -f ENDPOINT_NAME.yaml
   

   Ganti ENDPOINT_NAME dengan nama file definisi Endpoint.

Untuk mendapatkan jalur URL endpoint untuk model prediksi, jalankan perintah berikut:

kubectl --kubeconfig PREDICTION_CLUSTER_KUBECONFIG get endpoint PREDICTION_ENDPOINT -n PROJECT_NAMESPACE -o jsonpath='{.status.endpointFQDN}'

Ganti kode berikut:

• PREDICTION_CLUSTER_KUBECONFIG: jalur ke file kubeconfig di cluster prediksi.
• PREDICTION_ENDPOINT: nama endpoint.
• PROJECT_NAMESPACE: nama namespace project prediksi.