Model Garden에서 오픈 모델 배포

Model Garden을 사용하면 개방형 모델을 자체 배포할 수 있습니다. 자체 배포 모델은 서버리스가 아닙니다. 사용하기 전에 Vertex AI에 배포해야 합니다. 이러한 모델은 Google Cloud 프로젝트 및 VPC 네트워크 내에 안전하게 배포됩니다. 자체 배포된 모델에 대한 자세한 내용은 자체 배포된 모델 문서를 참고하세요.

파트너 모델 배포에 관한 자세한 내용은 Model Garden에서 파트너 모델 배포를 참고하세요.

자체 배포 가능한 개방형 모델

Model Garden의 개방형 모델은 관리형 API(MaaS)와 자체 배포 가능한 모델로 모두 제공될 수 있습니다. 두 제품이 모두 특정 모델에 제공되는 경우 관리형 API의 모델 카드에는 이름에 API 서비스가 표시되지만 자체 배포 가능 모델에는 표시되지 않습니다.

모델 나열

자체 배포 가능한 공개 모델 목록을 가져오려면 다음을 실행하세요.

  1. Model Garden으로 이동합니다.

    Model Garden으로 이동

  2. 기능 필터에서 모델 열기 및 원클릭 배포를 선택합니다.

모델 배포

배포할 개방형 모델을 식별한 후 클릭 한 번으로 배포를 사용하여 모델을 Vertex AI 엔드포인트에 배포할 수 있습니다. Google Cloud 콘솔을 사용하거나 Vertex AI SDK for Python을 사용하여 클릭 한 번으로 배포를 실행할 수 있습니다.

콘솔

Google Cloud 콘솔에서 모델을 배포하려면 다음 단계를 따르세요.

  1. Model Garden으로 이동합니다.

    Model Garden으로 이동

  2. 사용하려는 모델의 모델 카드를 찾아 클릭합니다.

  3. 모델 배포를 클릭합니다.

  4. 제공된 안내에 따라 배포를 구성합니다.

  5. 배포를 클릭합니다.

Python

다음 샘플에서는 Python용 Vertex AI SDK를 사용하여 모델을 배포하는 방법을 보여줍니다.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

커스텀 가중치를 적용한 모델 배포

Model Garden을 사용하면 Cloud Storage 버킷에서 커스텀 가중치를 사용하여 지원되는 모델을 배포할 수 있습니다. 커스텀 가중치로 모델을 배포하는 방법에 대한 자세한 내용은 커스텀 가중치로 모델 배포를 참고하세요. Google Cloud 콘솔, Google Cloud CLI, Vertex AI API 또는 Vertex AI SDK for Python을 사용하여 맞춤 가중치를 배포할 수 있습니다.

다음 단계