Opzioni di archiviazione per i dati TPU

Questo documento descrive le opzioni di archiviazione dei dati che puoi utilizzare durante l'addestramento dei modelli sulle VM TPU.

I workload in esecuzione sulle VM TPU richiedono l'archiviazione dei dati per le seguenti attività:

  • Download ed elaborazione preliminare del set di dati
  • Elaborazione della pipeline di input dell'host
  • Input di addestramento del modello
  • Output di addestramento del modello
  • Checkpoint
  • Pesi del modello
  • Offload della cache coppia chiave-valore

Puoi utilizzare le seguenti opzioni di archiviazione con le VM TPU:

Archiviazione a blocchi durevole

L'archiviazione a blocchi durevole, nota anche come dischi o volumi, è destinata ai dati che vuoi conservare dopo aver arrestato, sospeso o eliminato la VM TPU. L'archiviazione a blocchi durevole è ancora disponibile anche se la VM TPU si arresta in modo anomalo o smette di funzionare. Puoi utilizzare il disco di avvio della VM TPU o collegare ulteriore spazio di archiviazione a blocchi alla TPU.

Potresti voler collegare un disco aggiuntivo nei seguenti scenari:

  • Le dimensioni del set di dati di addestramento superano le dimensioni del disco di avvio della TPU.
  • Hai dati di sola lettura e vuoi un accesso in lettura più rapido utilizzando un volume Hyperdisk ML.

Generazione TPU e tipi di dischi supportati

La tabella seguente mostra i tipi di dischi supportati da ogni generazione di TPU:

Generazione TPU Tipi di dischi supportati
TPU7x Hyperdisk bilanciato, Hyperdisk ML
v6e Hyperdisk bilanciato, Hyperdisk ML
v5p Balanced Persistent Disk, Hyperdisk ML
v5e Balanced Persistent Disk, Hyperdisk ML
v4 Balanced Persistent Disk
v3 Balanced Persistent Disk
v2 Balanced Persistent Disk

Disco di avvio della VM TPU

Per impostazione predefinita, ogni VM TPU ha un singolo disco di avvio da 10 GB. Quando crei le VM, puoi configurare un disco di avvio più grande. Per saperne di più, consulta Crea un disco di avvio personalizzato. Il disco di avvio contiene il sistema operativo, i driver TPU e le librerie. Il disco di avvio può anche archiviare temporaneamente i set di dati scaricati per l'elaborazione preliminare e i dati di input e output del modello, a condizione che le dimensioni totali dei dati non superino lo spazio disponibile sul disco di avvio.

Se la tua applicazione richiede ulteriore spazio di archiviazione oltre a quello predefinito del disco di avvio, puoi aggiungere dischi durevoli all'istanza VM TPU o ridimensionare il disco di avvio. Per maggiori informazioni, consulta le seguenti risorse:

Per informazioni sulle best practice per la personalizzazione del disco di avvio della VM TPU, consulta Personalizza il disco di avvio della VM TPU.

Spazio di archiviazione collegato

Sia Google Cloud Hyperdisk sia Persistent Disk sono dispositivi di archiviazione di rete durevoli a cui le istanze VM possono accedere come se si trattasse di dischi fisici su un computer o un server. Crea entrambi i tipi di dischi indipendentemente dalle istanze VM, in modo da poter conservare i dati anche dopo aver eliminato la VM.

I vantaggi dell'utilizzo di Hyperdisk rispetto a Persistent Disk includono prestazioni personalizzabili, limiti di IOPS e throughput più elevati. Per saperne di più su Hyperdisk e Persistent Disk, consulta Scegli un tipo di disco.

Quando colleghi un disco a un MIG con una slice di VM TPU multi-host, il sistema collega il disco a ogni VM in quella slice TPU. Per impedire a due o più VM TPU di scrivere su un disco contemporaneamente, devi configurare tutti i dischi collegati a una slice TPU multi-host come di sola lettura. I dischi di sola lettura sono utili per archiviare un set di dati per l'elaborazione su una slice TPU. Poiché Hyperdisk bilanciato non supporta la modalità di sola lettura, puoi collegare un volume Hyperdisk bilanciato solo a una singola istanza VM TPU.

Per saperne di più sull'utilizzo dell'archiviazione a blocchi durevole, consulta Aggiungi un disco permanente alla tua VM e Aggiungi un Hyperdisk.

Backup dei dischi

Se la VM TPU si trova in uno stato sconosciuto o se elimini accidentalmente i dati, il recupero di questi dati dal disco di avvio è difficile. Esegui il backup dei dati utilizzando un'altra opzione di archiviazione, ad esempio i bucket Cloud Storage.

Se archivi i dati su un disco collegato, puoi utilizzare gli snapshot dei dischi, che eseguono il backup incrementale dei dati su un disco. Il disco di avvio della VM TPU non supporta gli snapshot dei dischi. Per saperne di più, consulta la pagina Informazioni sugli snapshot dei dischi.

Cloud Storage

Cloud Storage è un sistema di archiviazione di oggetti progettato per archiviare ed elaborare set di dati di grandi dimensioni (come immagini, testo e file video) che richiedono una scala di petabyte e una larghezza di banda elevata. È altamente conveniente, scalabile e resiliente. Quando utilizzi Cloud Storage, archivi i dati come oggetti in container chiamati bucket. Il rendimento dei bucket Cloud Storage dipende dalla classe di archiviazione selezionata e dalla posizione del bucket rispetto all'istanza VM TPU.

Quando utilizzi Cloud Storage, seleziona un tipo di bucket in base ai requisiti di throughput, scalabilità, costo e disponibilità dei dati. La famiglia di prodotti Cloud Storage Rapid, che include Rapid Bucket e bucket regionali con Rapid Cache, offre opzioni ad alte prestazioni per i workload AI/ML:

  • Rapid Bucket: Una funzionalità di Cloud Storage che ti consente di archiviare oggetti nella classe di archiviazione Rapid creando un bucket a livello di zona. I bucket a livello di zona supportano un throughput elevato e una latenza inferiore al millisecondo per i file aperti. Sono ideali per checkpoint asincroni, dati di addestramento e pesi dei modelli.
  • Bucket regionali: un bucket Cloud Storage che si trova in una o più regioni. I bucket regionali offrono prestazioni di archiviazione di oggetti standard. Per soddisfare i requisiti di throughput e latenza dei workload AI/ML, utilizza i bucket regionali con Rapid Cache. Rapid Cache è una cache di lettura a livello di zona supportata da SSD per i bucket regionali che aumenta il throughput e riduce la latenza per i workload con uso intensivo di lettura e memorizzabili nella cache, come il caricamento dei dati di addestramento o il caricamento dei pesi dei modelli per l'inferenza.

Tutti i bucket Cloud Storage hanno una ridondanza integrata per proteggere i dati da guasti dell'apparecchiatura e per garantire la disponibilità dei dati tramite eventi di manutenzione del data center. Cloud Storage calcola i checksum per tutte le operazioni per garantire l'integrità dei dati.

A differenza dell'archiviazione a blocchi durevole, i bucket Cloud Storage non ti limitano alla zona in cui si trova l'istanza. Inoltre, puoi leggere e scrivere dati in un bucket da più istanze contemporaneamente. Ad esempio, puoi configurare le istanze in più zone per leggere e scrivere dati nello stesso bucket anziché replicare i dati nell'archiviazione a blocchi durevole in più zone.

Per saperne di più, consulta Connetti le VM TPU ai bucket Cloud Storage.

Cloud Storage FUSE

Cloud Storage FUSE è un adattatore FUSE che ti consente di montare i bucket come file system locale. Quando utilizzi Google Kubernetes Engine, ti consigliamo di utilizzare il driver CSI di Cloud Storage FUSE e i profili di Cloud Storage FUSE.

Per saperne di più su Cloud Storage FUSE, consulta la documentazione di Cloud Storage FUSE.

Managed Lustre

Google Cloud Managed Lustre è un file system parallelo completamente gestito con piena conformità POSIX. È progettato per i profili di prestazioni dei metadati a bassa latenza e ad alta concorrenza richiesti per i workload di addestramento o inferenza dei modelli. È ottimizzato per i workload a latenza molto bassa (inferiore a 1 ms), come directory home, checkpoint sincroni, apprendimento per rinforzo (archiviazione della propagazione dei pesi ad alta velocità), archiviazione di offload della memorizzazione nella cache coppia chiave-valore (KV) o set di dati di addestramento con molti file di piccole dimensioni (meno di 1 MB). Managed Lustre offre un livello Dinamico conveniente che ottimizza automaticamente le prestazioni in base ai pattern di accesso ai dati.

Per saperne di più, consulta la documentazione di Managed Lustre.

Passaggi successivi