Model Garden에서 파트너 모델 배포

Model Garden을 사용하면 일부 파트너 모델을 자체 배포할 수 있습니다 (미리보기). 자체 배포 모델은 서버리스가 아닙니다. 사용하기 전에 Vertex AI에 배포해야 합니다. 이러한 모델은Google Cloud 프로젝트 및 VPC 네트워크 내에 안전하게 배포됩니다. 자체 배포된 모델에 대한 자세한 내용은 자체 배포된 모델 문서를 참고하세요.

자체 배포 가능한 파트너 모델 구매

Vertex AI에 자체 배포 가능한 파트너 모델을 배포하려면 먼저 Google Cloud Marketplace를 통해 구매해야 합니다. 자체 배포 파트너 모델을 구매하려면 다음 단계를 따르세요.

  1. Model Garden으로 이동합니다.

    Model Garden으로 이동

  2. 모델 컬렉션에서 자체 배포 가능한 파트너 모델을 클릭하여 모델 목록을 필터링합니다.

  3. 구매하려는 파트너 모델의 모델 카드를 클릭합니다.

  4. 영업팀에 문의를 클릭합니다.

  5. 양식을 작성하고 요청을 제출합니다.

이 단계를 완료하면 Google Cloud 영업 담당자와 연결되어 구매를 완료할 수 있습니다.

모델 배포

자체 배포 가능한 파트너 모델을 구매한 후 원클릭 배포를 사용하여 Vertex AI 엔드포인트에 배포할 수 있습니다. 이 프로세스는 필요한 설정을 사전 구성하여 배포를 간소화합니다.

Google Cloud 콘솔 또는 Vertex AI SDK for Python을 사용하여 원클릭 배포를 실행할 수 있습니다.

콘솔

Google Cloud 콘솔에서 파트너 모델을 배포하려면 다음 단계를 따르세요.

  1. Model Garden으로 이동합니다.

    Model Garden으로 이동

  2. 사용하려는 파트너 모델의 모델 카드를 찾아 클릭합니다.

  3. 모델 배포를 클릭합니다.

  4. 메시지가 표시되면 배포 설정을 구성합니다.

  5. 배포를 클릭합니다.

Python

다음 샘플에서는 Python용 Vertex AI SDK를 사용하여 파트너 모델을 배포하는 방법을 보여줍니다. 자리표시자 값을 구체적인 정보로 바꿉니다.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

다음 단계