Google Cloud Managed Lustre offre diversi livelli di prestazioni per soddisfare i requisiti e il budget specifici del tuo workload. Puoi scegliere un livello che fornisca prestazioni sostenute e prevedibili per l'intero file system o un livello dinamico che ottimizzi automaticamente i costi di archiviazione per set di dati di grandi dimensioni e parzialmente attivi.
Livelli disponibili
La tabella seguente riassume i livelli di prestazioni disponibili per Managed Lustre.
| Livello prestazioni | Capacità minima | Capacità massima | Dimensione passo |
|---|---|---|---|
| 1000 MBps per TiB | 9000 GiB | 10.008.000 GiB (9,5 PiB) | Per capacità di archiviazione fino a 2.556.000 GiB: 9000 GiB Per capacità di archiviazione maggiori: 72.000 GiB |
| 500 MBps per TiB | 18.000 GiB | 20.016.000 GiB (19,1 PiB) | Per capacità di archiviazione fino a 5.112.000 GiB: 18.000 GiB Per capacità di archiviazione maggiori: 144.000 GiB |
| 250 MBps per TiB | 36.000 GiB | 40.032.000 GiB (38,2 PiB) | Per capacità di archiviazione fino a 10.224.000 GiB: 36.000 GiB Per capacità di archiviazione maggiori: 288.000 GiB |
| 125 MBps per TiB | 72.000 GiB | 20.448.000 GiB (19,5 PiB) | 72.000 GiB |
| Dinamico (25 MBps per TiB) | 472.000 GiB | 84.016.000 GiB (80,1 PiB) | 472.000 GiB |
Le dimensioni dei passaggi cambiano quando le dimensioni dell'istanza raggiungono una soglia specifica.
Puoi aumentare la capacità di archiviazione di un'istanza dopo la creazione, fino al valore massimo consentito per il livello di prestazioni e la dimensione del passo. Se crei un'istanza all'interno dell'intervallo di dimensioni del passo più piccolo per il suo livello, non puoi aumentarla oltre la soglia della dimensione del passo. Per maggiori dettagli, consulta la sezione Limitazioni relative all'aumento della capacità.
Livelli numerati
I livelli numerati offrono prestazioni elevate e costanti. Questi livelli sono ideali per i workload che richiedono un throughput elevato e una bassa latenza per ogni accesso ai dati.
Quando crei l'istanza, scegli un livello di prestazioni specifico e il throughput viene fornito in modo coerente per l'intero file system. Le prestazioni aumentano in modo lineare in base alla quantità di spazio di archiviazione di cui esegui il provisioning. Oltre al throughput non elaborato, anche le IOPS e le prestazioni dei metadati aumentano in base alla capacità e al throughput di cui è stato eseguito il provisioning dell'istanza.
I livelli numerati forniscono una latenza inferiore al millisecondo.
- 1000 MBps per TiB: consigliato per i workload ad alte prestazioni e l'addestramento AI/ML in cui il throughput è fondamentale.
- 500 MBps per TiB: per workload AI/ML impegnativi, applicazioni HPC complesse e analisi ad alta intensità di dati che richiedono un throughput sostanziale, ma che possono trarre vantaggio da un rapporto prezzo/prestazioni più equilibrato.
- 250 MBps per TiB: adatto a un'ampia gamma di workload HPC, inferenza AI/ML , pre-elaborazione dei dati e applicazioni che richiedono prestazioni migliori rispetto all'NFS tradizionale, a un prezzo conveniente.
- 125 MBps per TiB: progettato per scenari in cui sono fondamentali grandi capacità e accesso al file system parallelo. Ideale per attività parallele meno vincolate all'I/O.
Livello dinamico
Il livello dinamico è una soluzione conveniente progettata per gestire i set di dati AI e HPC in crescita, ottimizzando automaticamente le prestazioni in base ai pattern di accesso ai dati. Fornisce un singolo spazio dei nomi unificato su scala di petabyte, offrendo accesso ad alta velocità ai dati attivi archiviati in una cache ad alte prestazioni, riducendo al contempo il costo totale di proprietà per i set di dati di grandi dimensioni. Il throughput aggregato disponibile per l'istanza aumenta a 25 MBps per TiB.
Il sistema gestisce in modo intelligente il posizionamento dei dati utilizzando un criterio automatizzato che contribuisce a garantire che i dati utilizzati di frequente rimangano ad alte prestazioni. Questo processo è trasparente per utenti e applicazioni, che interagiscono con il file system come un singolo punto di montaggio senza richiedere la migrazione manuale dei dati o il sovraccarico di gestione.
Vantaggi principali
- Costi di archiviazione ridotti: riduci il prezzo per byte per i set di dati di grandi dimensioni archiviando la maggior parte dei dati nello spazio di archiviazione dei volumi conveniente.
- Spazio dei nomi singolo su scala di PB: consolida set di dati enormi e in crescita in un unico punto di montaggio senza dover eseguire manualmente la migrazione o la suddivisione dei dati tra diversi sistemi di archiviazione.
- Intelligente e automatizzato: un sistema di memorizzazione nella cache a livello di blocchi trasparente contribuisce a garantire che lo spazio di archiviazione ad alte prestazioni venga utilizzato per i dati più critici.
- Prestazioni combinate: ottieni una latenza inferiore al millisecondo per i dati attivi e una latenza costante di decine di millisecondi per le parti del set di dati a cui si accede meno frequentemente.
Specifiche dettagliate delle prestazioni
Segui le best practice descritte in Considerazioni sulle prestazioni per aiutare le tue istanze a raggiungere questi numeri di IOPS e prestazioni dei metadati.
IOPS
La scalabilità massima delle IOPS è lineare per TiB di capacità dell'istanza di cui è stato eseguito il provisioning.
| Livello prestazioni | IOPS di lettura (per TiB) | IOPS di scrittura (per TiB) |
|---|---|---|
| 1000 MBps per TiB | 5800 | 5600 |
| 500 MBps per TiB | 2900 | 2800 |
| 250 MBps per TiB | 1450 | 1400 |
| 125 MBps per TiB | 725 | 700 |
| Dinamico | 145 | 140 |
Operazioni con metadati
Le operazioni massime sui metadati aumentano in base alla capacità.
Ogni istanza riceve il primo passaggio delle prestazioni dei metadati alle dimensioni minime dell'istanza (che è inferiore al passaggio di capacità standard).
Per le istanze più grandi, le prestazioni aumentano ogni volta che la capacità totale supera un multiplo della dimensione del passo.
| Livello prestazioni | Passaggio di capacità (GiB) | Statistiche dei file aggiunte per passaggio | Creazioni di file aggiunte per passaggio | Eliminazioni di file aggiunte per passaggio |
|---|---|---|---|---|
| 1000 MBps per TiB | 72.000 | 410.000 al secondo | 115.000 al secondo | 95.000 al secondo |
| 500 MBps per TiB | 144.000 | |||
| 250 MBps per TiB | 288.000 | |||
| 125 MBps per TiB | 576.000 | |||
| Dinamico | 3.776.000 | 275.000 al secondo | 115.000 al secondo | 130.000 al secondo |
Esempio: per il livello 1000 MBps per TiB, la dimensione del passo di capacità è 72.000 GiB. Se crei un'istanza da 153.000 GiB, ricevi 3 passaggi di prestazioni dei metadati:
- Passaggio 1: concesso alle dimensioni minime dell'istanza.
- Passaggio 2: concesso quando la capacità supera 72.000 GiB.
- Passaggio 3: concesso quando la capacità supera 144.000 GiB.
- Passaggio 4: non raggiunto. Concesso quando la capacità supera 216.000 GiB.
Poiché 153.000 GiB rientra tra le soglie di 144.000 GiB e 216.000 GiB, l'istanza riceve tre passaggi di prestazioni: un massimo di 1.230.000 statistiche dei file al secondo (3 * 410.000).