Zone AI

Le zone AI sono zone specializzate utilizzate per i workload di addestramento e inferenza di intelligenza artificiale e machine learning (AI e ML). Forniscono una capacità significativa di acceleratori ML (GPU e TPU).

All'interno di una regione, le zone AI sono situate geograficamente lontano dalle zone standard (non AI). La figura seguente mostra un esempio di una zona AI (us-south1-ai1b) situata più lontano rispetto alle zone standard nella us-south1 regione.

Zona principale

Ogni zona AI è associata a una zona standard nella regione, denominata zona principale. Una zona principale è una zona standard con lo stesso suffisso della zona AI. Ad esempio, nel diagramma, us-central1-a è la zona principale di us-central1-ai1a. Condividono le pianificazioni degli aggiornamenti software e, a volte, l'infrastruttura. Ciò significa che eventuali problemi software o infrastrutturali che interessano una zona principale potrebbero interessare anche la zona AI. Quando progetti le soluzioni ad alta affidabilità, esamina le considerazioni sull'alta affidabilità (HA) per tenere conto della dipendenza dalla zona principale.

Quando utilizzare le zone AI

Le zone AI sono ottimizzate per i workload AI e ML. Utilizza le seguenti indicazioni per determinare quali workload sono più adatti alle zone AI e quali sono più adatti alle zone standard.

Consigliato per:

  • Addestramento su larga scala: ideale per i workload di addestramento su larga scala, come l'addestramento di modelli linguistici di grandi dimensioni (LLM) e di modelli di base, grazie alla disponibilità di un numero elevato di acceleratori.

  • Addestramento su piccola scala, ottimizzazione, inferenza collettiva e riaddestramento: le zone AI offrono prestazioni ottimali per i workload che richiedono una capacità di accelerazione sostanziale.

  • Inferenza ML in tempo reale: le zone AI supportano i workload di inferenza in tempo reale. Le prestazioni dipendono dalla progettazione dell'applicazione e dai requisiti di latenza del modello, soprattutto se il workload richiede richieste di andata e ritorno alla regione principale.

Non consigliato per:

  • Workload non ML: poiché le zone AI non offrono tutti i Google Cloud servizi a livello locale, ti consigliamo di eseguire i workload non ML nelle zone standard.

Accedere ai servizi da una zona AI

Puoi accedere a tutti i Google Cloud prodotti in una Google Cloud regione dalla relativa zona AI. Tuttavia, l'accesso ai servizi in una Google Cloud regione da una zona AI può aggiungere latenza di rete, poiché la zona AI è fisicamente separata dalle località delle zone standard della regione.

Per visualizzare le zone AI nella Google Cloud console, in Google Cloud CLI e nell'API REST, devi attivare la visibilità delle zone AI per il tuo progetto. La visibilità delle zone AI è separata dal controllo dell'accesso e dai limiti del servizio Policy dell'organizzazione. Per saperne di più, consulta Gestire la visibilità delle zone AI.

Prodotti specifici supportano la creazione o l'accesso alle risorse di zona a livello locale in una zona AI. Per saperne di più su questi servizi, consulta la tabella seguente:

Prodotto Descrizione
Google Kubernetes Engine (GKE) Configurazione per l'utilizzo delle zone AI nei cluster GKE, inclusa la configurazione tramite ComputeClasses, il provisioning automatico dei nodi e i node pool GKE Standard.

Utilizzare le zone AI in GKE
Cloud Storage Configurazione dell'archiviazione di oggetti per i workload nelle zone AI, inclusa l'archiviazione di zona per massimizzare le prestazioni durante i job attivi e l'archiviazione permanente per i set di dati e i checkpoint dei modelli.

Utilizzare le zone AI con Cloud Storage
Compute Engine Metodi per identificare le zone AI disponibili utilizzando la console, Google Cloud CLI e l'API REST, incluso come filtrare in base alla convenzione di denominazione, al tipo di acceleratore o alla macchina

Trovare le zone AI disponibili
Google Cloud Managed Lustre Ottimizzare le prestazioni per i workload AI e ML di cui è stato eseguito il deployment su GKE Standard

Ottimizzare i workload AI e ML con Google Cloud Managed Lustre

Località

Le zone AI sono disponibili nelle seguenti località:

Zona AI Località della zona AI Google Cloud Regione Google Cloud Località della regione Zona principale
europe-west4-ai1a De Kooy, Paesi Bassi, Europa europe-west4 Eemshaven, Paesi Bassi, Europa europe-west4-a
us-south1-ai1b Austin, Texas, Nord America us-south1 Dallas, Texas, Nord America us-south1-b
us-central1-ai1a Lincoln, Nebraska, Nord America us-central1 Council Bluffs, Iowa, Nord America us-central1-a

Per esaminare i tipi di GPU e TPU disponibili nelle zone AI, consulta le seguenti risorse:

Eseguire il deployment delle risorse nelle zone AI

È possibile accedere alle zone AI tramite la Google Cloud console, Google Cloud CLI o REST. Tuttavia, quando utilizzi la Google Cloud console per creare le VM, devi selezionare manualmente una zona AI. Non viene selezionata automaticamente, come avviene per le zone standard. Per utilizzare le zone AI con le seguenti funzionalità, devi selezionare esplicitamente una zona AI durante la configurazione di queste risorse.

  • Alcune funzionalità di Compute Engine: le zone AI non vengono selezionate automaticamente in alcune funzionalità regionali di Compute Engine, come le operazioni di inserimento collettivo a livello di regione o i gruppi di istanze gestite (MIG) a livello di regione.

    • Inserimento collettivo: per includere le zone AI nelle operazioni di inserimento collettivo a livello di regione, devi utilizzare il campo locationPolicy.zones[]. Il campo locations[] non supporta le zone AI. L'esempio seguente mostra questo formato per la zona us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • MIG a livello di regione: per creare istanze in una zona AI nella regione selezionata, devi specificarla esplicitamente nella policy di distribuzione (distributionPolicy.zones[]) insieme alle altre zone preferite. L'esempio seguente mostra questo formato per la zona us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • Alcune funzionalità di GKE: le zone AI non vengono selezionate automaticamente in alcune funzionalità regionali di GKE, come i cluster GKE a livello di regione. Per maggiori dettagli su GKE, consulta Utilizzare le zone AI in GKE in questo documento.

  • Vertex AI: i prodotti regionali di Vertex AI basati su GKE devono configurare GKE in modo da includere le zone AI nei cluster regionali. Non devi attivare Vertex AI. Vertex AI gestisce questa configurazione.

  • Google Cloud API Service Metadata Locations: devi abilitare il flag --extraLocationTypes quando utilizzi l'API locations.list per assicurarti che le zone AI vengano visualizzate solo agli utenti che intendono utilizzarle.

  • Limitazioni dei workload non accelerati: Compute Engine limita la creazione di VM solo CPU nelle zone AI.

Utilizzare le zone AI in GKE

Per impostazione predefinita, GKE non esegue il deployment dei workload nelle zone AI. Per utilizzare una zona AI, configura una delle seguenti opzioni:

  • ComputeClasses: imposta la priorità più alta per richiedere TPU on demand in una zona AI. ComputeClasses ti aiuta a definire un elenco prioritario di configurazioni hardware per i tuoi workload. Per un esempio, consulta Informazioni su ComputeClasses.

  • Provisioning automatico dei nodi: utilizza un nodeSelector o nodeAffinity nella specifica del pod per indicare al provisioning automatico dei nodi di creare un pool di nodi nella zona AI. Se il workload non ha come target esplicito una zona AI, il provisioning automatico dei nodi considera solo le zone standard durante la creazione di nuovi node pool. Questa configurazione garantisce che i workload che non eseguono modelli AI/ML rimangano nelle zone standard, a meno che tu non configuri esplicitamente diversamente. Per un esempio di un manifest che utilizza un nodeSelector, consulta Impostare le zone predefinite per i nodi creati automaticamente.

  • GKE Standard: se gestisci direttamente i node pool, utilizza una zona AI nel flag --node-locations quando crei un pool di nodi. Per un esempio, consulta Eseguire il deployment dei workload TPU in GKE Standard.

Limitazioni

Le seguenti risorse non sono disponibili nelle zone AI:

Considerazioni sulla progettazione con le zone AI

Quando progetti le applicazioni per utilizzare le zone AI, tieni presente quanto segue.

Considerazioni sull'alta affidabilità (HA)

Le zone AI condividono le implementazioni software e l'infrastruttura con le relative zone principali. Per garantire l'alta affidabilità dei workload, evita questi pattern di deployment quando selezioni le zone, sia automaticamente che manualmente:

  • Evita di eseguire il deployment dei workload HA in una zona AI e nella relativa zona principale.

  • Evita di eseguire il deployment dei workload HA in due zone AI che condividono la stessa zona principale.

Best practice per l'archiviazione

Ti consigliamo un'architettura di archiviazione a livelli per bilanciare costi, durabilità e prestazioni:

  1. Livello di archiviazione a freddo: utilizza i bucket Cloud Storage a livello di regione nelle zone standard per l'archiviazione permanente e a elevata durabilità dei set di dati di addestramento e dei checkpoint dei modelli.

  2. Livello di prestazioni: utilizza servizi di archiviazione di zona specializzati come cache ad alta velocità o spazio temporaneo temporaneo. Questo approccio elimina la latenza tra le zone e massimizza il goodput durante i job attivi.

    Per garantire che le GPU e le TPU rimangano completamente sature, massimizzando il goodput, esegui il provisioning del livello di prestazioni nella stessa zona AI delle risorse di computing.

Le seguenti soluzioni di archiviazione sono consigliate per ottimizzare le prestazioni del sistema AI e ML con le zone AI:

Servizio di archiviazione Descrizione Casi d'uso
Funzionalità Anywhere Cache di Cloud Storage Una cache di lettura di zona completamente gestita e basata su SSD che porta i dati letti di frequente da un bucket nella zona AI. Consigliato per:
  • Workload con molte operazioni di lettura
  • Addestramento e pubblicazione di modelli a bassa latenza
Non consigliato per:
  • Applicazioni che richiedono la piena conformità POSIX

Includere o escludere le zone AI

Per includere o escludere manualmente le zone AI da un elenco di zone, utilizza un filtro:

Passaggi successivi