TPU 스팟 VM 요청

스팟 VM은 미사용 용량을 대폭 할인된 가격으로 제공합니다. 스팟 VM은 언제든지 선점할 수 있지만 최대 런타임 기간이 없습니다. 선점형 TPU와는 다릅니다. 스팟 VM 인스턴스 또는 MIG를 다시 시작하려면 삭제한 후 다시 만들어야 합니다.

스팟 VM에 대한 자세한 내용은 스팟 VM에 대한 Compute Engine 문서를 참조하세요.

TPU 스팟 VM 만들기

TPU 스팟 VM을 개별 인스턴스로 만들거나 관리형 인스턴스 그룹 (MIG)의 일부로 만들 수 있습니다.

MIG로 TPU 스팟 VM을 만들려면 인스턴스 템플릿에서 스팟 프로비저닝 모델을 지정합니다.

  1. 인스턴스 템플릿 만들기:

        gcloud compute instance-templates create TEMPLATE_NAME \
        --provisioning-model=SPOT \
        --instance-termination-action=DELETE \
        --machine-type=MACHINE_TYPE \
        --image-family=IMAGE_FAMILY \
        --image-project=IMAGE_PROJECT \
        --zone=ZONE \
        --maintenance-policy=TERMINATE

    다음 자리표시자를 바꿉니다.

    • TEMPLATE_NAME: 인스턴스 템플릿의 이름입니다.
    • MACHINE_TYPE: VM의 머신 유형입니다.
    • IMAGE_FAMILY: TPU VM의 OS 이미지 계열입니다.
    • IMAGE_PROJECT: TPU VM의 OS 이미지 프로젝트입니다.
    • ZONE: 인스턴스 템플릿이 생성되는 영역입니다.

  2. 워크로드 정책 만들기

    다음 명령어는 워크로드 정책을 만듭니다. 단일 호스트 슬라이스의 경우 선택사항입니다.

    gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
--type=high-throughput \
--accelerator-topology=TOPOLOGY

    다음 자리표시자를 바꿉니다.

    • WORKLOAD_POLICY_NAME: 워크로드 정책의 이름입니다.
    • TOPOLOGY: TPU VM의 토폴로지입니다(예: 4x4x8).

  3. MIG 만들기:

        gcloud compute instance-groups managed create MIG_NAME \
        --zone=ZONE \
        --template=TEMPLATE_NAME \
        --size=SIZE \
        --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME

    다음 자리표시자를 바꿉니다.

    • MIG_NAME: MIG 이름입니다.
    • ZONE: MIG가 생성되는 영역입니다.
    • TEMPLATE_NAME: 인스턴스 템플릿의 이름입니다.
    • SIZE: MIG의 인스턴스 수입니다.
    • PROJECT_ID: 프로젝트의 ID입니다. Google Cloud
    • WORKLOAD_POLICY_REGION: 워크로드 정책이 정의된 리전입니다.
    • WORKLOAD_POLICY_NAME: 워크로드 정책의 이름입니다.

단일 TPU VM 사용

단일 TPU 스팟 VM을 만들 수도 있습니다.

gcloud compute instances create TPU_NAME \
    --zone=ZONE \
    --provisioning-model=SPOT \
    --instance-termination-action=DELETE \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --maintenance-policy=TERMINATE

다음 자리표시자를 바꿉니다.

  • TPU_NAME: TPU의 이름입니다.
  • ZONE: TPU가 생성되는 영역입니다.
  • MACHINE_TYPE: VM의 머신 유형입니다.
  • IMAGE_FAMILY: 인스턴스 템플릿의 이미지 계열입니다.
  • IMAGE_PROJECT: TPU VM의 OS 이미지 프로젝트입니다.

Compute Engine의 스팟 VM에 대한 자세한 내용은 스팟 VM을 참조하세요.

가격 책정 및 할당량

TPU 스팟 VM의 가격 책정은 주문형 및 예약 TPU에 비해 훨씬 저렴합니다. 가격 책정에 대한 자세한 내용은 Cloud TPU 가격 책정을 참조하세요.

TPU 스팟 VM을 사용하려면 선점형 할당량이 필요합니다. 자세한 내용은 할당량을 참조하세요.

다음 단계