Zone AI

Le zone AI sono zone specializzate utilizzate per i workload di addestramento e inferenza di intelligenza artificiale e machine learning (AI e ML). Forniscono una capacità significativa di acceleratori ML (GPU e TPU).

All'interno di una regione, le zone AI si trovano geograficamente lontano dalle zone standard (non AI). La seguente figura mostra un esempio di una zona AI (us-south1-ai1b) situata più lontano rispetto alle zone standard nella regione us-south1.

Zona principale

Ogni zona AI è associata a una zona standard della regione, denominata zona padre. Una zona padre è una zona standard con lo stesso suffisso della zona AI. Ad esempio, nel diagramma, us-central1-a è la zona principale di us-central1-ai1a. Condividono le pianificazioni degli aggiornamenti software e, a volte, l'infrastruttura. Ciò significa che eventuali problemi software o di infrastruttura che interessano una zona principale potrebbero interessare anche la zona AI. Quando progetti le tue soluzioni ad alta affidabilità, consulta le considerazioni sull'alta affidabilità (HA) per tenere conto della dipendenza dalla zona principale.

Quando utilizzare le zone AI

Le zone AI sono ottimizzate per i workload AI e ML. Utilizza le seguenti linee guida per determinare quali dei tuoi workload sono più adatti alle zone AI e quali sono più adatti alle zone standard.

Consigliato per:

  • Addestramento su larga scala: ideale per workload di addestramento su larga scala, come l'addestramento di modelli linguistici di grandi dimensioni (LLM) e di base, grazie alla disponibilità di un numero elevato di acceleratori.

  • Addestramento su piccola scala, ottimizzazione, inferenza collettiva e riaddestramento: le zone AI funzionano bene per i workload che richiedono una capacità di accelerazione sostanziale.

  • Inferenza ML in tempo reale: le zone AI supportano i workload di inferenza in tempo reale. Le prestazioni dipendono dalla progettazione dell'applicazione e dai requisiti di latenza del modello, soprattutto se il workload richiede richieste di andata e ritorno alla regione principale.

Non consigliato per:

  • Workload non ML: poiché le zone AI non offrono tutti i servizi Google Cloud localmente, ti consigliamo di eseguire i workload non ML nelle zone standard.

Accedi ai servizi da una zona AI

Puoi accedere a tutti i prodotti Google Cloud in una regione Google Cloud dalla sua AI Zone. Tuttavia, l'accesso ai servizi in una regione Google Cloud da una zona AI può aggiungere latenza di rete, poiché la zona AI è fisicamente separata dalle località delle zone standard della regione.

Per visualizzare le zone AI nella console Google Cloud , in Google Cloud CLI e nell'API REST, devi attivare la visibilità delle zone AI per il tuo progetto. La visibilità della zona AI è separata dal controllo dell'accesso e dai confini del servizio policy dell'organizzazione. Per saperne di più, consulta Gestisci la visibilità delle zone AI.

Prodotti specifici supportano la creazione o l'accesso alle risorse di zona localmente in una AI Zone. Per saperne di più su questi servizi, consulta la tabella seguente:

Prodotto Descrizione
Google Kubernetes Engine (GKE) Configurazione per l'utilizzo delle zone AI nei cluster GKE, inclusa la configurazione tramite ComputeClasses, il provisioning automatico dei nodi e i pool di nodi GKE Standard.

Utilizzo delle zone AI in GKE
Cloud Storage Configurazione dell'archiviazione di oggetti per i workload nelle zone AI, inclusa l'archiviazione a livello di zona per massimizzare le prestazioni durante i job attivi e l'archiviazione permanente per i set di dati e i checkpoint dei modelli.

Utilizza le zone AI con Cloud Storage
Compute Engine Metodi per identificare le zone AI disponibili utilizzando la console, Google Cloud CLI e l'API REST, incluso come filtrare in base alla convenzione di denominazione, al tipo di acceleratore o alla macchina

Trova le zone AI disponibili
Google Cloud Managed Lustre Ottimizza le prestazioni per i workload AI e ML di cui è stato eseguito il deployment su GKE Standard

Ottimizza i workload AI e ML con Google Cloud Managed Lustre

Località

Le zone AI sono disponibili nelle seguenti località:

Zona AI Posizione della zona AI Google Cloud regione Località della regioneGoogle Cloud Zona padre
europe-west4-ai1a De Kooy, Paesi Bassi, Europa europe-west4 Eemshaven, Paesi Bassi, Europa europe-west4-a
us-south1-ai1b Austin, Texas, Nord America us-south1 Dallas, Texas, Nord America us-south1-b
us-central1-ai1a Lincoln, Nebraska, Nord America us-central1 Council Bluffs, Iowa, Nord America us-central1-a

Per esaminare i tipi di GPU e TPU disponibili nelle zone AI, consulta quanto segue:

Deployment delle risorse nelle zone AI

Le zone AI sono accessibili tramite la console Google Cloud , Google Cloud CLI o REST. Tuttavia, quando utilizzi la console Google Cloud per creare le VM, devi selezionare manualmente una zona AI. Non viene selezionata per te, come avviene per le zone standard. Per utilizzare le zone AI con le seguenti funzionalità, devi selezionare esplicitamente una zona AI durante la configurazione di queste risorse.

  • Alcune funzionalità di Compute Engine: le zone AI non vengono selezionate automaticamente in alcune funzionalità regionali di Compute Engine, come le operazioni di inserimento collettivo a livello di regione o i gruppi di istanze gestite (MIG) a livello di regione.

    • Inserimento collettivo: per includere le zone AI nelle operazioni di inserimento collettivo a livello di regione, devi utilizzare il campo locationPolicy.zones[]. Il campo locations[] non supporta le zone AI. L'esempio seguente mostra questo formato per la zona us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • MIG a livello di regione: per creare istanze in una zona AI nella regione selezionata, devi specificarla esplicitamente nella policy di distribuzione (distributionPolicy.zones[]) insieme alle altre zone preferite. L'esempio seguente mostra questo formato per la zona us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • Alcune funzionalità di GKE: le zone AI non vengono selezionate automaticamente in alcune funzionalità regionali di GKE, come i cluster GKE regionali. Per maggiori dettagli su GKE, consulta Utilizzo delle zone AI in GKE in questo documento.

  • Vertex AI: i prodotti Vertex AI regionali basati su GKE devono configurare GKE per includere le zone AI nei cluster regionali. Non è necessario attivare Vertex AI. Vertex AI gestisce questa configurazione.

  • API Service Metadata LocationsGoogle Cloud : devi attivare il flag --extraLocationTypes quando utilizzi l'API locations.list per assicurarti che i zone AI vengano visualizzati solo da chi intende utilizzarli.

  • Limitazioni dei workload non accelerati: Compute Engine limita la creazione di VM solo CPU nelle zone AI.

Utilizzo delle zone AI in GKE

Per impostazione predefinita, GKE non esegue il deployment dei workload nelle zone AI. Per utilizzare una AI Zone, configura una delle seguenti opzioni:

  • Classi di calcolo: Imposta la priorità più alta per richiedere TPU on-demand in una zona AI. Le classi di computing ti aiutano a definire un elenco di configurazioni hardware con priorità per i tuoi workload. Per un esempio, consulta Informazioni su ComputeClasses.

  • Provisioning automatico dei nodi: utilizza un nodeSelector o un nodeAffinity nella specifica del pod per indicare al provisioning automatico dei nodi di creare un pool di nodi nella zona AI. Se il tuo workload non ha come target esplicito una zona AI, il provisioning automatico dei nodi prende in considerazione solo le zone standard durante la creazione di nuovi pool di nodi. Questa configurazione garantisce che i workload che non eseguono modelli AI/ML rimangano nelle zone standard, a meno che non configuri esplicitamente diversamente. Per un esempio di manifest che utilizza un nodeSelector, consulta Imposta le zone predefinite per i nodi creati automaticamente.

  • GKE Standard: se gestisci direttamente i node pool, utilizza una zona AI nel flag --node-locations quando crei un pool di nodi. Per un esempio, consulta Esegui il deployment dei workload TPU in GKE Standard.

Limitazioni

Le seguenti funzionalità non sono disponibili in AI Zones:

Considerazioni sulla progettazione con le zone AI

Quando progetti le tue applicazioni per l'utilizzo delle zone AI, tieni presente quanto segue.

Considerazioni sull'alta affidabilità (HA)

Le zone AI condividono i rollout del software e l'infrastruttura con le zone principali. Per garantire l'alta affidabilità dei tuoi workload, evita questi pattern di deployment quando selezioni le zone, sia automaticamente sia manualmente:

  • Evita di eseguire il deployment di workload ad alta affidabilità in una zona AI e nella relativa zona principale.

  • Evita di eseguire il deployment di workload ad alta affidabilità in due zone AI che condividono la stessa zona principale.

Best practice per l'archiviazione

Per bilanciare costi, durabilità e prestazioni, consigliamo un'architettura di archiviazione a più livelli:

  1. Livello di archiviazione cold: utilizza i bucket Cloud Storage regionali nelle zone standard per l'archiviazione persistente e altamente durevole dei set di dati di addestramento e dei checkpoint dei modelli.

  2. Livello di prestazioni: utilizza servizi di archiviazione a livello di zona specializzati per fungere da cache ad alta velocità o spazio temporaneo. Questo approccio elimina la latenza tra zone e massimizza il goodput durante i job attivi.

    Per garantire che le GPU e le TPU rimangano completamente sature, massimizzando il goodput, esegui il provisioning del livello di prestazioni nella stessa AI Zone delle risorse di computing.

Le seguenti soluzioni di archiviazione sono consigliate per ottimizzare le prestazioni dei sistemi AI e ML con le zone AI:

Servizio di archiviazione Descrizione Casi d'uso
Funzionalità Anywhere Cache di Cloud Storage Una cache di lettura di zona completamente gestita e basata su SSD che trasferisce i dati letti di frequente da un bucket alla zona AI. Consigliato per:
  • Workload ad alta intensità di lettura
  • Addestramento e pubblicazione dei modelli a bassa latenza
Non consigliato per:
  • Applicazioni che richiedono la piena conformità POSIX

Includi o escludi le zone AI

Per includere o escludere manualmente le zone AI da un elenco di zone, utilizza un filtro:

Passaggi successivi