Google Cloud Managed Lustre offre diversi livelli di prestazioni per soddisfare i requisiti e il budget specifici del tuo workload. Puoi scegliere un livello che fornisca prestazioni sostenute e prevedibili per l'intero file system o un livello dinamico che ottimizzi automaticamente i costi di archiviazione per set di dati di grandi dimensioni e parzialmente attivi.
Livelli disponibili
La tabella seguente riassume i livelli di prestazioni disponibili per Managed Lustre.
| Livello | Capacità minima | Capacità massima | Dimensione passo |
|---|---|---|---|
| 1000 MBps per TiB | 9.000 GiB | 10.008.000 GiB (9,5 PiB) | Per capacità di archiviazione fino a 1.530.000 GiB: 9.000 GiB Per capacità di archiviazione maggiori: 72.000 GiB |
| 500 MBps per TiB | 18.000 GiB | 20.016.000 GiB (19,1 PiB) | Per capacità di archiviazione fino a 3.060.000 GiB: 18.000 GiB Per capacità di archiviazione maggiori: 144.000 GiB |
| 250 MBps per TiB | 36.000 GiB | 40.032.000 GiB (38,2 PiB) | Per capacità di archiviazione fino a 6.120.000 GiB: 36.000 GiB Per capacità di archiviazione maggiori: 288.000 GiB |
| 125 MBps per TiB | 72.000 GiB | 12.240.000 GiB (11,7 PiB) | 72.000 GiB |
| Dinamico (25 MBps per TiB) | 472.000 GiB | 84.016.000 GiB (80,1 PiB) | 472.000 GiB |
Le dimensioni dei passi cambiano quando le dimensioni dell'istanza raggiungono una soglia specifica.
Puoi aumentare la capacità di archiviazione di un'istanza dopo la sua creazione, fino al valore massimo consentito per il livello di prestazioni e la dimensione del passo. Se crei un'istanza all'interno dell'intervallo di dimensioni del passo più piccolo per il suo livello, non puoi aumentarla oltre la soglia della dimensione del passo. Per maggiori dettagli, consulta Limitazioni relative all'aumento della capacità.
Livelli numerati
I livelli numerati offrono prestazioni costanti e ad alta velocità. Questi livelli sono ideali per i workload che richiedono un throughput elevato e una bassa latenza per ogni accesso ai dati.
Quando crei l'istanza, scegli un livello di prestazioni specifico e il throughput viene fornito in modo coerente per l'intero file system. Le prestazioni aumentano in modo lineare in base alla quantità di spazio di archiviazione di cui esegui il provisioning. Oltre al throughput non elaborato, anche le IOPS e le prestazioni dei metadati aumentano in base alla capacità e al throughput di cui è stato eseguito il provisioning dell'istanza.
- 1000 MBps per TiB: consigliato per i workload ad alte prestazioni e l'addestramento AI/ML in cui il throughput è fondamentale.
- 500 MBps per TiB: per workload AI/ML impegnativi, applicazioni HPC complesse e analisi ad alta intensità di dati che richiedono un throughput sostanziale, ma che possono trarre vantaggio da un rapporto prezzo/prestazioni più equilibrato.
- 250 MBps per TiB: adatto a un'ampia gamma di workload HPC, inferenza AI/ML , pre-elaborazione dei dati e applicazioni che richiedono prestazioni migliori rispetto all'NFS tradizionale, a un prezzo conveniente.
- 125 MBps per TiB: progettato per scenari in cui sono fondamentali grandi capacità e accesso parallelo al file system. Ideale per attività parallele meno vincolate all'I/O.
Livello dinamico
Il livello dinamico è una soluzione conveniente progettata per gestire i set di dati AI e HPC in crescita, ottimizzando automaticamente le prestazioni in base ai pattern di accesso ai dati. Fornisce un singolo spazio dei nomi unificato su scala di petabyte, offrendo accesso ad alta velocità ai dati attivi archiviati in una cache ad alte prestazioni, riducendo al contempo il costo totale di proprietà per i set di dati di grandi dimensioni. Il throughput aggregato disponibile per l'istanza aumenta a 25 MBps per TiB.
Il sistema gestisce in modo intelligente il posizionamento dei dati utilizzando una policy automatizzata che contribuisce a garantire che i dati utilizzati di frequente rimangano ad alte prestazioni. Questo processo è trasparente per utenti e applicazioni, che interagiscono con il file system come un singolo punto di montaggio senza richiedere la migrazione manuale dei dati o il sovraccarico di gestione.
Vantaggi principali
- Costi di archiviazione ridotti: riduci il prezzo per byte per i set di dati di grandi dimensioni archiviando la maggior parte dei dati nello spazio di archiviazione dei volumi a costi contenuti.
- Spazio dei nomi singolo su scala di PB: consolida set di dati enormi e in crescita in un unico punto di montaggio senza dover eseguire manualmente la migrazione o la suddivisione dei dati tra diversi sistemi di archiviazione.
- Intelligente e automatizzato: un sistema di memorizzazione nella cache trasparente a livello di blocchi contribuisce a garantire che lo spazio di archiviazione ad alte prestazioni venga utilizzato per i dati più critici.
- Prestazioni combinate: ottieni una latenza inferiore al millisecondo per i dati attivi e una latenza costante di decine di millisecondi per le parti del set di dati a cui si accede meno frequentemente.
Specifiche dettagliate delle prestazioni
Segui le best practice descritte in Considerazioni sulle prestazioni per aiutare le tue istanze a raggiungere questi numeri di IOPS e prestazioni dei metadati.
IOPS
Le IOPS massime aumentano in modo lineare per TiB di capacità dell'istanza di cui è stato eseguito il provisioning.
| Livello di throughput | IOPS di lettura (per TiB) | IOPS di scrittura (per TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1450 | 1400 |
500 MBps per TiB |
2900 | 2800 |
1000 MBps per TiB |
5800 | 5600 |
Dynamic |
145 | 140 |
Operazioni con metadati
Le operazioni massime sui metadati aumentano in base alla capacità.
Ogni istanza riceve il primo passo delle prestazioni dei metadati alle dimensioni minime dell'istanza (che è inferiore al passo di capacità standard).
Per le istanze più grandi, le prestazioni aumentano ogni volta che la capacità totale supera un multiplo della dimensione del passo.
| Livello prestazioni | Passo di capacità (GiB) | Statistiche dei file aggiunte per passo | Creazioni di file aggiunte per passo | Eliminazioni di file aggiunte per passo |
|---|---|---|---|---|
| 1000 MBps per TiB | 72.000 | 410.000 al secondo | 115.000 al secondo | 95.000 al secondo |
| 500 MBps per TiB | 144.000 | |||
| 250 MBps per TiB | 288.000 | |||
| 125 MBps per TiB | 576.000 | |||
| Dinamico | 3.776.000 | 275.000 al secondo | 115.000 al secondo | 130.000 al secondo |
Esempio: per il livello 1000 MBps per TiB, la dimensione del passo di capacità è 72.000 GiB. Se crei un'istanza da 153.000 GiB, ricevi 3 passi di prestazioni dei metadati:
- Passo 1: concesso alle dimensioni minime dell'istanza.
- Passo 2: concesso quando la capacità supera 72.000 GiB.
- Passo 3: concesso quando la capacità supera 144.000 GiB.
- Passo 4: non raggiunto. Concesso quando la capacità supera 216.000 GiB.
Poiché 153.000 GiB rientra tra le soglie di 144.000 GiB e 216.000 GiB, l'istanza riceve tre passi di prestazioni: un massimo di 1.230.000 statistiche dei file al secondo (3 * 410.000).