Crea policy del workload per i MIG

Questo documento spiega come creare policy per i carichi di lavoro per i gruppi di istanze gestite (MIG) che hanno istanze Compute Engine A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D. Per creare una policy del workload per gli slice TPU multi-host, vedi Crea un MIG con slice TPU multi-host.

Una policy del workload ti consente di specificare il posizionamento o la topologia delle istanze Compute Engine nel tuo MIG. Ad esempio, puoi utilizzare i criteri per i workload per posizionare le istanze di calcolo più vicine tra loro, riducendo al minimo la latenza di rete per i workload di intelligenza artificiale (AI), machine learning (ML) o computing ad alte prestazioni (HPC). Per scoprire di più sui requisiti e sulle limitazioni che applichi quando crei le policy del workload, consulta Informazioni sulle policy del workload.

Prima di iniziare

  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione verifica la tua identità per l'accesso ad API e servizi Google Cloud . Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Seleziona la scheda relativa a come prevedi di utilizzare i campioni in questa pagina:

    gcloud

    1. Installa Google Cloud CLI. Dopo l'installazione, inizializza Google Cloud CLI eseguendo il comando seguente: 

      gcloud init

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  • Imposta una regione e una zona predefinite.

    • REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

      Installa Google Cloud CLI.

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

    Per saperne di più, consulta Autenticati per usare REST nella documentazione sull'autenticazione di Google Cloud .

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare e applicare policy dei carichi di lavoro ai gruppi di istanze gestite, chiedi all'amministratore di concederti il ruolo IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) sul progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare e applicare policy dei carichi di lavoro ai gruppi di istanze gestite. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare e applicare policy dei carichi di lavoro ai gruppi di istanze gestite sono necessarie le seguenti autorizzazioni:

  • Per creare una policy del workload: compute.resourcePolicies.create sul progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea una policy del workload

Per creare una policy del workload, utilizza uno dei seguenti metodi in base alla serie di macchine utilizzata dalle istanze di Compute nel tuo MIG:

Crea una policy del workload per le istanze A4X Max o A4X

Se applichi una policy del workload alle istanze A4X Max o A4X in un MIG, devi specificare un valore di topologia dell'acceleratore quando crei la policy. Questa azione aiuta i tuoi workload a ottenere prestazioni di rete non bloccanti su larga scala.

Per creare una policy del workload per le istanze A4X Max o A4X, seleziona una delle seguenti opzioni:

gcloud

Per creare una policy del workload per le istanze A4X Max o A4X, utilizza il comando gcloud compute resource-policies create workload-policy con il flag --accelerator-topology=1x72:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Sostituisci quanto segue:

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchina A4X Max o A4X, consulta Regioni e zone disponibili.

REST

Per creare una policy del workload per le istanze A4X Max o A4X, invia una richiesta POST al metodo resourcePolicies.insert. Nel corpo della richiesta, includi il campo acceleratorTopology impostato su 1x72:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto in cui creare la policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchina A4X Max o A4X, consulta Regioni e zone disponibili.

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

Crea una policy del workload per le istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D

Se vuoi applicare una policy del workload alle istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D in un MIG, ti consigliamo di specificare un valore di distanza massima della topologia quando crei la policy. Questa azione contribuisce a garantire un posizionamento più ravvicinato tra le istanze di calcolo. Tuttavia, più compatto è il posizionamento che specifichi, meno risorse potrebbero essere disponibili nella zona in cui vuoi creare le istanze di computing.

Per creare una policy del workload per le istanze A4, A3 Ultra, A3 Mega o A3 High (8 GPU), seleziona una delle seguenti opzioni:

gcloud

Per creare una policy del workload, utilizza il comando gcloud compute resource-policies create workload-policy. In base alla vicinanza con cui vuoi posizionare le istanze di Compute in un MIG, includi i seguenti flag nel comando:

  • Per posizionare le istanze di computing vicine tra loro nel miglior modo possibile, includi il flag --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Per controllare ulteriormente il posizionamento delle istanze di Compute, includi i flag --max-topology-distance e --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Sostituisci quanto segue:

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchine GPU, consulta Regioni e zone disponibili.

  • TOPOLOGY_DISTANCE: la distanza topologia massima. Una distanza massima più breve può ridurre la probabilità di disponibilità della VM. Specifica uno dei seguenti valori:

    • Per inserire istanze A4 o H4D nello stesso cluster: CLUSTER

    • Per inserire istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso blocco: BLOCK

    • Per posizionare le istanze A4, A3 Ultra o H4D nello stesso blocco secondario: SUBBLOCK

REST

Per creare una policy del workload, invia una richiesta POST al metodo resourcePolicies.insert. A seconda della vicinanza con cui vuoi posizionare le istanze di calcolo in un MIG, includi i seguenti campi nel corpo della richiesta:

  • Per posizionare le istanze di computing vicine tra loro nel miglior modo possibile, includi il campo type nel corpo della richiesta:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Per controllare ulteriormente il posizionamento delle istanze di calcolo, includi i campi maxTopologyDistance e type nel corpo della richiesta:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto in cui creare la policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchine GPU, consulta Regioni e zone disponibili.

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

  • TOPOLOGY_DISTANCE: la distanza topologia massima. Una distanza massima più breve può ridurre la probabilità di disponibilità della VM. Specifica uno dei seguenti valori:

    • Per inserire istanze A4 o H4D nello stesso cluster: CLUSTER

    • Per inserire istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso blocco: BLOCK

    • Per posizionare le istanze A4, A3 Ultra o H4D nello stesso blocco secondario: SUBBLOCK

Passaggi successivi