Crea policy del workload per i MIG

Questo documento spiega come creare policy per i gruppi di istanze gestite (MIG) che hanno istanze Compute Engine A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D. Per saperne di più sui requisiti e sulle limitazioni che applichi quando crei policy del workload, consulta Informazioni sulle policy del workload.

Una policy del workload ti consente di specificare il posizionamento o la topologia per le istanze Compute Engine nel tuo MIG. Ad esempio, puoi utilizzare le policy del workload per posizionare le istanze di computing più vicine tra loro, riducendo al minimo la latenza di rete per i workload di intelligenza artificiale (AI), machine learning (ML) o computing ad alte prestazioni (HPC).

Prima di iniziare

  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione verifica la tua identità per l'accesso ad API e servizi Google Cloud . Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Seleziona la scheda relativa alla modalità di utilizzo degli esempi in questa pagina:

    gcloud

    1. Installa Google Cloud CLI. Dopo l'installazione, inizializza Google Cloud CLI eseguendo il comando seguente: 

      gcloud init

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  • Imposta una regione e una zona predefinite.

    • REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

      Installa Google Cloud CLI.

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

    Per saperne di più, consulta Autenticati per usare REST nella Google Cloud documentazione sull'autenticazione di.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare e applicare policy del workload ai MIG, chiedi all'amministratore di concederti il ruolo IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) sul progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare e applicare policy del workload ai MIG. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare e applicare policy del workload ai MIG, sono necessarie le seguenti autorizzazioni:

  • Per creare una policy del workload: compute.resourcePolicies.create sul progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea una policy del workload

Per creare una policy del workload, utilizza uno dei seguenti metodi in base alla serie di macchine utilizzata dalle istanze di computing nel tuo MIG:

Crea una policy del workload per le istanze A4X Max o A4X

Se applichi una policy del workload alle istanze A4X Max o A4X in un MIG, devi specificare un valore di topologia dell'acceleratore quando crei la policy. Questa azione aiuta i tuoi workload a ottenere prestazioni di rete non bloccanti su larga scala.

Per creare una policy del workload per le istanze A4X Max o A4X, seleziona una delle seguenti opzioni:

gcloud

Per creare una policy del workload per le istanze A4X Max o A4X, utilizza il gcloud compute resource-policies create workload-policy comando con il --accelerator-topology=1x72 flag:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Sostituisci quanto segue:

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchina A4X Max o A4X, consulta Regioni e zone disponibili.

REST

Per creare una policy del workload per le istanze A4X Max o A4X, invia una POST richiesta al resourcePolicies.insert metodo. Nel corpo della richiesta, includi il campo acceleratorTopology impostato su 1x72:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto in cui creare la policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchina A4X Max o A4X, consulta Regioni e zone disponibili.

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

Crea una policy del workload per le istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D

Se vuoi applicare una policy del workload alle istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D in un MIG, ti consigliamo di specificare un valore di distanza massima della topologia quando crei la policy. Questa azione contribuisce a garantire un posizionamento più vicino tra le istanze di computing. Tuttavia, più compatto è il posizionamento specificato, meno risorse potrebbero essere disponibili nella zona in cui vuoi creare le istanze di computing.

Per creare una policy del workload per le istanze A4, A3 Ultra, A3 Mega o A3 High (8 GPU), seleziona una delle seguenti opzioni:

gcloud

Per creare una policy del workload, utilizza il gcloud compute resource-policies create workload-policy comando. In base alla vicinanza con cui vuoi posizionare le istanze di computing in un MIG, includi i seguenti flag nel comando:

  • Per posizionare le istanze di computing vicine tra loro in base al principio del best effort, includi il flag --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Per controllare ulteriormente il posizionamento delle istanze di computing, includi i flag --max-topology-distance e --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Sostituisci quanto segue:

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchina GPU, consulta Regioni e zone disponibili.

  • TOPOLOGY_DISTANCE: la distanza massima della topologia. Una distanza massima più breve può ridurre la probabilità di disponibilità della VM. Specifica uno dei seguenti valori:

    • Per posizionare le istanze A4 o H4D nello stesso cluster: CLUSTER

    • Per posizionare le istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso blocco: BLOCK

    • Per posizionare le istanze A4, A3 Ultra o H4D nello stesso blocco secondario: SUBBLOCK

REST

Per creare una policy del workload, invia una richiesta POST al resourcePolicies.insert metodo. In base alla vicinanza con cui vuoi posizionare le istanze di computing in un MIG, includi i seguenti campi nel corpo della richiesta:

  • Per posizionare le istanze di computing vicine tra loro in base al principio del best effort, includi il campo type nel corpo della richiesta:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Per controllare ulteriormente il posizionamento delle istanze di computing, includi i campi maxTopologyDistance e type nel corpo della richiesta:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto in cui creare la policy del workload.

  • REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchina GPU, consulta Regioni e zone disponibili.

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

  • TOPOLOGY_DISTANCE: la distanza massima della topologia. Una distanza massima più breve può ridurre la probabilità di disponibilità della VM. Specifica uno dei seguenti valori:

    • Per posizionare le istanze A4 o H4D nello stesso cluster: CLUSTER

    • Per posizionare le istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso blocco: BLOCK

    • Per posizionare le istanze A4, A3 Ultra o H4D nello stesso blocco secondario: SUBBLOCK

Passaggi successivi