Zone AI

Questo documento fornisce una panoramica delle zone AI per Cloud Storage. Le zone AI sono zone Google Cloud specializzate progettate per offrire capacità di computing per i workload di intelligenza artificiale (AI) e machine learning (ML). Offrono una capacità significativa di acceleratori ML (GPU e TPU).

Le zone AI sono ottimizzate per i workload AI e ML come i seguenti:

  • Addestramento su larga scala
  • Addestramento su piccola scala, ottimizzazione, inferenza collettiva e riaddestramento
  • Inferenza ML in tempo reale

Per informazioni di base sulle zone AI, consulta Zone AI nella documentazione di Compute Engine.

All'interno di una regione, le zone AI potrebbero trovarsi geograficamente lontane dalle zone standard (non AI).

Le zone AI sono compatibili con altre funzionalità di Cloud Storage e Google Cloud.

Suggerimenti per l'architettura di archiviazione

Ti consigliamo di utilizzare un'architettura di archiviazione a più livelli per bilanciare costi, durabilità e prestazioni:

  • Livello di cold storage: utilizza i bucket Cloud Storage regionali nelle zone standard per l'archiviazione persistente e altamente durevole (la "fonte di verità") dei set di dati di addestramento e dei checkpoint del modello.

  • Livello di prestazioni: utilizza servizi di archiviazione a livello di zona specializzati per fungere da cache ad alta velocità o spazio temporaneo. Questo approccio elimina la latenza tra zone e massimizza il throughput durante i job attivi.

Per ottimizzare le prestazioni dei sistemi di AI e ML con le zone AI, si consigliano le seguenti soluzioni di archiviazione:

Servizio o prodotto di archiviazione Descrizione Casi d'uso
Prodotto Rapid Cache di Cloud Storage

Una cache di lettura di zona completamente gestita e basata su SSD che trasferisce i dati letti di frequente da un bucket alla zona AI.

Crea un'istanza Rapid Cache in una zona AI per il bucket di origine regionale che contiene i set di dati o i modelli di addestramento che vuoi pubblicare. Quando il job di addestramento legge un file, questo viene inserito nella cache rapida della zona. Le letture successive vengono gestite direttamente dalla cache, bypassando la rete regionale. È la soluzione ideale per i pattern di accesso ai dati ripetitivi nell'addestramento dei modelli e per l'erogazione dei modelli a bassa latenza.

Suggerito per:

  • Workload ad alta intensità di lettura
  • Addestramento e pubblicazione dei modelli a bassa latenza
Prodotto Rapid Bucket di Cloud Storage

Una funzionalità ad alte prestazioni che ti consente di individuare i bucket nelle zone e utilizzare la classe di archiviazione Rapid Storage. Ottimizzato per workload ad alta intensità di I/O, progettato specificamente per applicazioni AI/ML che richiedono la collocazione con i dati a cui devono accedere.

Per ottimizzare l'archiviazione dei dati per i workload che richiedono bassa latenza e throughput elevato, crea un bucket a livello di zona che utilizzi l'archiviazione Rapid, quindi monta il bucket come directory sulla tua macchina virtuale utilizzando Cloud Storage FUSE. Puoi quindi configurare l'applicazione per archiviare o accedere ai dati nel bucket a livello di zona tramite il punto di montaggio del bucket. Ad esempio, per archiviare i checkpoint del modello nel bucket a livello di zona, configura la directory dei checkpoint sul punto di montaggio nel codice di addestramento.

Per la resilienza regionale, puoi eseguire il backup dei checkpoint in bucket regionali, multiregionali o a due regioni. Utilizza Storage Transfer Service per spostare i dati da un bucket a livello di zona a un bucket in una località diversa. Utilizza la Gestione del ciclo di vita degli oggetti per far scadere ed eliminare i dati dopo un periodo di tempo prestabilito.

Suggerito per:

  • Workload di lettura e scrittura con throughput elevato
  • Checkpointing ad alta velocità
  • Addestramento e pubblicazione dei modelli a bassa latenza

Best practice

Segui queste best practice per lo spazio di archiviazione quando utilizzi le zone AI:

  • Esegui il provisioning del livello di prestazioni nella stessa zona AI delle risorse di computing. La collocazione di computing e spazio di archiviazione aiuta a garantire che le GPU e le TPU rimangano completamente sature, massimizzando il "goodput" (throughput utile).

  • Per Rapid Cache, prima di iniziare l'epoca di addestramento principale, esegui una pre-lettura del set di dati per popolare o riscaldare la cache basata su SSD.

Zone AI disponibili

La tabella seguente mostra le zone AI e le relative regioni Google Cloud principali.

Area geografica Regione padre Zona AI
Europa europe-west4 europe-west4-ai1a
Stati Uniti us-central1 us-central1-ai1a
Stati Uniti us-south1 us-south1-ai1b

Considerazioni

  • Puoi accedere ai prodotti Google Cloud in una regione Google Cloud dalla AI Zone della regione. Tuttavia, l'accesso ai servizi in una regione Google Cloud da una zona AI può aggiungere latenza di rete, perché la località della zona AI potrebbe essere fisicamente separata dalle località delle zone standard della regione.

  • Ti consigliamo di eseguire i workload non ML nelle zone standard, non nelle zone AI, perché queste ultime non offrono tutti i servizi Google Cloud localmente.

Passaggi successivi