Zone AI

Questo documento fornisce una panoramica delle zone AI per Cloud Storage. Le zone AI sono zone specializzate Google Cloud progettate per offrire capacità di calcolo per i workload di intelligenza artificiale (AI) e machine learning (ML). Forniscono una capacità significativa di acceleratori ML (GPU e TPU).

Le zone AI sono ottimizzate per i workload AI e ML come i seguenti:

  • Addestramento su larga scala
  • Addestramento su piccola scala, ottimizzazione, inferenza collettiva e riaddestramento
  • Inferenza ML in tempo reale

Per informazioni di base sulle zone AI, consulta Zone AI nella documentazione di Compute Engine.

All'interno di una regione, le zone AI potrebbero essere situate geograficamente lontano dalle zone standard (non AI).

Le zone AI sono compatibili con altri servizi e funzionalità di Cloud Storage e Google Cloud funzionalità.

Consigli sull'architettura di archiviazione

Ti consigliamo di utilizzare un'architettura di archiviazione a livelli per bilanciare costi, durabilità e prestazioni:

  • Livello di archiviazione a freddo: utilizza i bucket Cloud Storage regionali nelle zone standard per l'archiviazione persistente e altamente duratura (la "fonte di verità") dei set di dati di addestramento e dei checkpoint dei modelli.

  • Livello di prestazioni: utilizza i servizi di archiviazione zonali specializzati come cache ad alta velocità o spazio temporaneo temporaneo. Questo approccio elimina la latenza tra le zone e massimizza il throughput durante i job attivi.

Per ottimizzare le prestazioni del sistema AI e ML con le zone AI, ti consigliamo le seguenti soluzioni di archiviazione:

Servizio o prodotto di archiviazione Descrizione Casi d'uso
Rapid Cache prodotto di Cloud Storage

Una cache di lettura zonale completamente gestita e basata su SSD che porta i dati letti di frequente letti da un bucket nella zona AI.

Crea un'istanza di Rapid Cache in una zona AI per il bucket di origine regionale che contiene i set di dati di addestramento o i modelli che vuoi pubblicare. Quando il job di addestramento legge un file, questo viene inserito nella cache veloce all'interno della zona. Le letture successive vengono gestite direttamente dalla cache, bypassando la rete regionale. Questa soluzione è ideale per i pattern di accesso ai dati ripetitivi nell'addestramento dei modelli e per la pubblicazione di modelli a bassa latenza.

Suggerito per:

  • Workload con molte letture
  • Addestramento e pubblicazione di modelli a bassa latenza
Prodotto Rapid Bucket di Cloud Storage

Una funzionalità ad alte prestazioni che ti consente di individuare i bucket nelle zone e utilizzare la classe di archiviazione Rapid Storage. Ottimizzato per i workload con uso intensivo di I/O, progettato specificamente per le applicazioni AI/ML che richiedono la collocazione con i dati a cui devono accedere.

Per ottimizzare l'archiviazione dei dati per i workload che richiedono bassa latenza e throughput elevato, crea un bucket zonale che utilizza Rapid Storage, quindi monta il bucket come directory sulla macchina virtuale utilizzando Cloud Storage FUSE. Puoi quindi configurare l'applicazione per archiviare o accedere ai dati nel bucket zonale tramite il punto di montaggio del bucket. Ad esempio, per archiviare i checkpoint dei modelli nel bucket zonale, configura la directory dei checkpoint nel punto di montaggio nel codice di addestramento.

Per la resilienza regionale, puoi eseguire il backup dei checkpoint nei bucket regionali, multiregionali o a due regioni. Utilizza Storage Transfer Service per spostare i dati da un bucket zonale a un bucket in una località diversa. Utilizza la Gestione del ciclo di vita degli oggetti per far scadere ed eliminare i dati dopo un periodo di tempo prestabilito.

Suggerito per:

  • Workload di lettura e scrittura con throughput elevato
  • Checkpointing ad alta velocità
  • Addestramento e pubblicazione di modelli a bassa latenza

Best practice

Segui queste best practice per l'archiviazione quando utilizzi le zone AI:

  • Esegui il provisioning del livello di prestazioni nella stessa zona AI delle risorse di calcolo. La collocazione di calcolo e archiviazione consente di garantire che le GPU e le TPU rimangano completamente sature, massimizzando il "goodput" (throughput utile).

  • Per Rapid Cache, prima di iniziare l'epoca di addestramento principale, esegui una pre-lettura del set di dati per popolare o riscaldare la cache basata su SSD.

Zone AI disponibili

La tabella seguente mostra le zone AI e le relative regioni principali Google Cloud.

Area geografica Regione principale Zona AI
Europa europe-west4 europe-west4-ai1a
Stati Uniti us-central1 us-central1-ai1a
Stati Uniti us-south1 us-south1-ai1b

Considerazioni

  • Puoi accedere ai Google Cloud prodotti in una Google Cloud regione dalla zona AI della regione. Tuttavia, l'accesso ai servizi in una Google Cloud regione da una zona AI può aggiungere latenza di rete, perché la posizione della zona AI potrebbe essere fisicamente separata dalle posizioni delle zone standard della regione.

  • Ti consigliamo di eseguire i workload non ML nelle zone standard, non nelle zone AI, perché le zone AI non offrono tutti i Google Cloud servizi a livello locale.

Passaggi successivi