MIG의 워크로드 정책 만들기

이 문서에서는 A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) 또는 H4D Compute Engine 인스턴스가 있는 관리형 인스턴스 그룹 (MIG)의 워크로드 정책을 만드는 방법을 설명합니다. 멀티 호스트 TPU 슬라이스의 워크로드 정책을 만들려면 멀티 호스트 TPU 슬라이스로 MIG 만들기를 참고하세요.

워크로드 정책을 사용하면 MIG의 Compute Engine 인스턴스에 대한 배치 또는 토폴로지를 지정할 수 있습니다. 예를 들어 워크로드 정책을 사용하여 컴퓨팅 인스턴스를 서로 가까이 배치하여 인공지능 (AI), 머신러닝 (ML) 또는 고성능 컴퓨팅 (HPC) 워크로드의 네트워크 지연 시간을 최소화할 수 있습니다. 워크로드 정책을 만들 때 적용되는 요구사항 및 제한사항에 대해 자세히 알아보려면 워크로드 정책 정보를 참고하세요.

시작하기 전에

  • 아직 인증을 설정하지 않았다면 설정합니다. 인증은 Google Cloud 서비스 및 API에 액세스하기 위해 ID를 확인합니다. 로컬 개발 환경에서 코드 또는 샘플을 실행하려면 다음 옵션 중 하나를 선택하여 Compute Engine에 인증하면 됩니다.

    이 페이지의 샘플 사용 방법에 대한 탭을 선택하세요.

    gcloud

    1. Google Cloud CLI를 설치합니다. 설치 후 다음 명령어를 실행하여 Google Cloud CLI를 초기화합니다. 

      gcloud init

      외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.

  • 기본 리전 및 영역을 설정합니다.

    • REST

    로컬 개발 환경에서 이 페이지의 REST API 샘플을 사용하려면 gcloud CLI에 제공한 사용자 인증 정보를 사용합니다.

      Google Cloud CLI를 설치합니다.

      외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.

    자세한 내용은 Google Cloud 인증 문서의 REST 사용을 위한 인증을 참조하세요.

필요한 역할

MIG에 워크로드 정책을 만들고 적용하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 Compute 인스턴스 관리자 (v1) (roles/compute.instanceAdmin.v1) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 워크로드 정책을 만들고 MIG에 적용하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

워크로드 정책을 만들고 MIG에 적용하려면 다음 권한이 필요합니다.

  • 워크로드 정책 만들기: 프로젝트에 대한 compute.resourcePolicies.create 권한

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

워크로드 정책 만들기

워크로드 정책을 만들려면 MIG의 컴퓨팅 인스턴스에서 사용하는 머신 시리즈에 따라 다음 방법 중 하나를 사용하세요.

A4X Max 또는 A4X 인스턴스의 워크로드 정책 만들기

MIG의 A4X Max 또는 A4X 인스턴스에 워크로드 정책을 적용하는 경우 정책을 만들 때 가속기 토폴로지 값을 지정해야 합니다. 이 작업은 워크로드가 대규모의 차단되지 않는 네트워크 성능을 달성하는 데 도움이 됩니다.

A4X Max 또는 A4X 인스턴스의 워크로드 정책을 만들려면 다음 옵션 중 하나를 선택합니다.

gcloud

A4X Max 또는 A4X 인스턴스의 워크로드 정책을 만들려면 --accelerator-topology=1x72 플래그와 함께 gcloud compute resource-policies create workload-policy 명령어를 사용합니다.

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

다음을 바꿉니다.

  • WORKLOAD_POLICY_NAME: 워크로드 정책의 이름입니다.

  • REGION: 워크로드 정책을 만들려는 리전입니다. MIG를 만들려는 리전과 사용할 머신 유형을 지정합니다. A4X Max 또는 A4X 머신 유형을 사용할 수 있는 리전을 검토하려면 사용 가능한 리전 및 영역을 참고하세요.

REST

A4X Max 또는 A4X 인스턴스의 워크로드 정책을 만들려면 resourcePolicies.insert 메서드에 POST 요청을 실행합니다. 요청 본문에 1x72로 설정된 acceleratorTopology 필드를 포함합니다.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

다음을 바꿉니다.

  • PROJECT_ID: 워크로드 정책을 만들 프로젝트의 ID입니다.

  • REGION: 워크로드 정책을 만들려는 리전입니다. MIG를 만들려는 리전과 사용할 머신 유형을 지정합니다. A4X Max 또는 A4X 머신 유형을 사용할 수 있는 리전을 검토하려면 사용 가능한 리전 및 영역을 참고하세요.

  • WORKLOAD_POLICY_NAME: 워크로드 정책의 이름입니다.

A4, A3 Ultra, A3 Mega, A3 High (GPU 8개) 또는 H4D 인스턴스의 워크로드 정책 만들기

MIG의 A4, A3 Ultra, A3 Mega, A3 High (GPU 8개) 또는 H4D 인스턴스에 워크로드 정책을 적용하려면 정책을 만들 때 최대 토폴로지 거리 값을 지정하는 것이 좋습니다. 이 작업을 사용하면 컴퓨팅 인스턴스를 더 가깝게 배치할 수 있습니다. 하지만 지정하는 배치가 더 압축될수록 컴퓨팅 인스턴스를 만들려는 영역에서 사용할 수 있는 리소스가 줄어들 수 있습니다.

A4, A3 Ultra, A3 Mega 또는 A3 High (GPU 8개) 인스턴스의 워크로드 정책을 만들려면 다음 옵션 중 하나를 선택합니다.

gcloud

워크로드 정책을 만들려면 gcloud compute resource-policies create workload-policy 명령어를 사용합니다. MIG에서 컴퓨팅 인스턴스를 얼마나 가깝게 배치할지에 따라 명령어에 다음 플래그를 포함합니다.

  • 컴퓨팅 인스턴스를 최대한 서로 가까운 위치에 배치하려면 --type=high-throughput 플래그를 포함합니다.

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • 컴퓨팅 인스턴스의 배치를 추가로 제어하려면 --max-topology-distance 및 --type=high-throughput 플래그를 포함합니다.

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

다음을 바꿉니다.

  • WORKLOAD_POLICY_NAME: 워크로드 정책의 이름입니다.

  • REGION: 워크로드 정책을 만들려는 리전입니다. MIG를 만들려는 리전과 사용할 머신 유형을 지정합니다. GPU 머신 유형을 사용할 수 있는 리전을 검토하려면 사용 가능한 리전 및 영역을 참고하세요.

  • TOPOLOGY_DISTANCE: 최대 토폴로지 거리입니다. 최대 거리가 짧으면 VM 가용성 가능성이 줄어들 수 있습니다. 다음 값 중 하나를 지정합니다.

    • A4 또는 H4D 인스턴스를 동일한 클러스터에 배치하려면 다음을 실행하세요. CLUSTER

    • A4, A3 Ultra, A3 Mega, A3 High (GPU 8개) 또는 H4D 인스턴스를 동일한 블록에 배치하려면 다음을 실행하세요. BLOCK

    • A4, A3 Ultra 또는 H4D 인스턴스를 동일한 하위 블록에 배치하려면 다음을 실행하세요. SUBBLOCK

REST

워크로드 정책을 만들려면 resourcePolicies.insert 메서드에 POST 요청을 실행합니다. MIG에서 컴퓨팅 인스턴스를 얼마나 가깝게 배치할지에 따라 요청 본문에 다음 필드를 포함합니다.

  • 컴퓨팅 인스턴스를 최대한 서로 가까운 위치에 배치하려면 요청 본문에 type 필드를 포함합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • 컴퓨팅 인스턴스의 배치를 추가로 제어하려면 요청 본문에 maxTopologyDistance 및 type 필드를 포함합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

다음을 바꿉니다.

  • PROJECT_ID: 워크로드 정책을 만들 프로젝트의 ID입니다.

  • REGION: 워크로드 정책을 만들려는 리전입니다. MIG를 만들려는 리전과 사용할 머신 유형을 지정합니다. GPU 머신 유형을 사용할 수 있는 리전을 검토하려면 사용 가능한 리전 및 영역을 참고하세요.

  • WORKLOAD_POLICY_NAME: 워크로드 정책의 이름입니다.

  • TOPOLOGY_DISTANCE: 최대 토폴로지 거리입니다. 최대 거리가 짧으면 VM 가용성 가능성이 줄어들 수 있습니다. 다음 값 중 하나를 지정합니다.

    • A4 또는 H4D 인스턴스를 동일한 클러스터에 배치하려면 다음을 실행하세요. CLUSTER

    • A4, A3 Ultra, A3 Mega, A3 High (GPU 8개) 또는 H4D 인스턴스를 동일한 블록에 배치하려면 다음을 실행하세요. BLOCK

    • A4, A3 Ultra 또는 H4D 인스턴스를 동일한 하위 블록에 배치하려면 다음을 실행하세요. SUBBLOCK

다음 단계