Ottimizza i carichi di lavoro di IA e ML con Managed Lustre di Google Cloud

Last reviewed 2026-10-13 UTC

Questo documento fornisce un'architettura di riferimento che mostra come utilizzare Google Cloud Managed Lustre per ottimizzare le prestazioni per i carichi di lavoro di AI e ML di cui è stato eseguito il deployment su Google Kubernetes Engine (GKE). Il pubblico di destinazione di questo documento include architetti e professionisti tecnici che progettano, eseguono il provisioning e gestiscono lo spazio di archiviazione per i workload di AI su Google Cloud. Il documento presuppone che tu abbia una conoscenza dei concetti di Kubernetes e del ciclo di vita, dei processi e delle funzionalità del ML.

Managed Lustre è un file system parallelo (PFS) permanente completamente Google Cloudgestito basato su EXAScaler Lustre di DDN. Managed Lustre è una soluzione consigliata per i workload di addestramento e checkpointing dell'AI. È particolarmente efficace per la migrazione di workload esistenti da Lustre o altre soluzioni PFS. Per massimizzare l'utilizzo delle risorse, i workload che utilizzano Managed Lustre per l'addestramento devono utilizzare la stessa istanza per la pubblicazione e l'inferenza.

Managed Lustre è la soluzione consigliata per i workload di AI che soddisfano i seguenti criteri:

  • Richiedono una capacità di archiviazione su scala PiB.
  • Fornire un accesso a latenza molto bassa (inferiore al millisecondo) con un throughput elevato.
  • Forniscono un numero elevato di operazioni di I/O al secondo (IOPS).

Managed Lustre offre i seguenti vantaggi per i workload AI:

  • Costo totale di proprietà (TCO) inferiore per l'addestramento: Managed Lustre contribuisce a ridurre il tempo di addestramento fornendo in modo efficiente i dati ai nodi di calcolo. Questa funzionalità contribuisce a ridurre il costo totale di proprietà per l'addestramento dei modelli di AI e ML.
  • TCO inferiore per la pubblicazione: Managed Lustre offre funzionalità ad alte prestazioni che consentono un caricamento più rapido dei modelli e una pubblicazione delle inferenze ottimizzata. Queste funzionalità contribuiscono a ridurre i costi di calcolo e a migliorare l'utilizzo delle risorse.
  • Utilizzo efficiente delle risorse: Managed Lustre ti consente di combinare il checkpointing e l'addestramento in una singola istanza. Questa condivisione delle risorse consente di massimizzare l'utilizzo efficiente della velocità effettiva di lettura e scrittura in un unico sistema di archiviazione ad alte prestazioni.

Architettura

Il seguente diagramma mostra un'architettura di esempio per l'utilizzo di Managed Lustre per ottimizzare il rendimento di un workload di addestramento del modello e di un workload di pubblicazione:

Un'architettura utilizza Managed Lustre per ottimizzare le prestazioni di un workload di addestramento e di un workload di distribuzione di un modello.

I workload mostrati nell'architettura precedente sono descritti in dettaglio nelle sezioni successive. Questa architettura include i seguenti componenti:

  • Cluster GKE: GKE gestisce gli host di calcolo su cui vengono eseguiti i processi di addestramento e gestione dei modelli di AI e ML. GKE gestisce l'infrastruttura sottostante dei cluster, inclusi il piano di controllo, i nodi e tutti i componenti di sistema.
  • Kubernetes Scheduler: il control plane GKE pianifica i carichi di lavoro e ne gestisce il ciclo di vita, la scalabilità e gli upgrade.
  • Rete Virtual Private Cloud (VPC): tutte le risorse Google Cloud dell'architettura utilizzano una singola rete VPC.
  • Cloud Load Balancing: in questa architettura, Cloud Load Balancing distribuisce in modo efficiente le richieste di inferenza in entrata dagli utenti dell'applicazione ai container di servizio nel cluster GKE. L'utilizzo di Cloud Load Balancing contribuisce a garantire alta affidabilità, scalabilità e prestazioni ottimali per l'applicazione di AI e ML. Per ulteriori informazioni, consulta Informazioni sul bilanciamento del carico GKE.
  • Unità di elaborazione grafica (GPU) o Tensor Processing Unit (TPU): le GPU e le TPU sono acceleratori di macchine specializzati che migliorano le prestazioni del tuo workload AI e ML. Per garantire efficienza e compatibilità ottimali, utilizza lo stesso tipo di acceleratore per l'intero workload di AI e ML. Per ulteriori informazioni su come scegliere un tipo di processore appropriato, consulta la sezione Opzioni di acceleratore più avanti in questo documento.
  • Managed Lustre: Managed Lustre accelera l'addestramento e l'erogazione di AI e ML fornendo un PFS ad alte prestazioni e persistente, ottimizzato per bassa latenza e throughput elevato. Rispetto all'utilizzo di Cloud Storage da solo, l'utilizzo di Managed Lustre riduce significativamente il tempo di addestramento e migliora la reattività dei modelli durante la pubblicazione. Questi miglioramenti si notano soprattutto nei carichi di lavoro impegnativi che richiedono un accesso rapido e coerente ai dati condivisi.
  • Cloud Storage FUSE: Cloud Storage FUSE fornisce uno spazio di archiviazione persistente ed economico per i tuoi workload di AI e ML. Cloud Storage funge da repository centrale per i set di dati di addestramento non elaborati, i checkpoint del modello e i backup del modello. L'utilizzo di Cloud Storage contribuisce a garantire la durabilità, la disponibilità a lungo termine e l'efficienza dei costi per i dati che non vengono utilizzati attivamente nei calcoli.

Workload di addestramento

Nell'architettura precedente, i passaggi del flusso di dati durante l'addestramento del modello sono i seguenti:

  1. Carica i dati di addestramento in Cloud Storage: carichi i dati di addestramento in un bucket Cloud Storage, che funge da repository centrale sicuro e scalabile e da origine attendibile.
  2. Copia i dati in Managed Lustre: il corpus di dati di addestramento viene trasferito importando i dati in un'istanza Managed Lustre da Cloud Storage. Il trasferimento dei dati di addestramento ti consente di sfruttare le funzionalità del file system ad alte prestazioni di Managed Lustre per ottimizzare le velocità di caricamento ed elaborazione dei dati durante l'addestramento del modello.
  3. Esegui job di addestramento in GKE: il processo di addestramento del modello viene eseguito sui nodi GKE. Utilizzando Managed Lustre come origine dati anziché caricare i dati direttamente da Cloud Storage, i nodi GKE possono accedere e caricare i dati di addestramento con una velocità notevolmente maggiore e una latenza inferiore. Managed Lustre consente inoltre di ridurre il tempo necessario per l'inizio del trasferimento del primo byte, misurato in base al Time to First Byte (TTFB). L'utilizzo di Managed Lustre consente di ridurre i tempi di caricamento dei dati e di accelerare il processo di addestramento complessivo, in particolare per i set di dati di grandi dimensioni con file di lettura di piccole dimensioni e modelli complessi. A seconda dei requisiti del tuo workload, puoi utilizzare GPU o TPU. Per informazioni su come scegliere un tipo di processore appropriato, consulta Opzioni di acceleratore più avanti in questo documento.
  4. Salva i checkpoint di addestramento in Managed Lustre: durante il processo di addestramento, i checkpoint vengono salvati in Managed Lustre in base alle metriche o agli intervalli che definisci. I checkpoint acquisiscono lo stato del modello a intervalli frequenti. I checkpoint possono essere esportati selettivamente in Cloud Storage per l'archiviazione a lungo termine.

Workload di pubblicazione

Nell'architettura precedente, i passaggi nel flusso di dati durante l'erogazione del modello sono i seguenti:

  1. Carica il modello per l'erogazione: quando il modello è pronto per il deployment, i pod GKE caricano il modello addestrato dall'istanza Managed Lustre nei nodi di erogazione. Se l'istanza Managed Lustre che hai utilizzato durante l'addestramento ha una capacità di IOPS sufficiente e si trova nella stessa zona degli acceleratori, puoi utilizzare la stessa istanza Managed Lustre per l'addestramento del modello. Il riutilizzo dell'istanza Managed Lustre consente una condivisione efficiente delle risorse tra l'addestramento e la pubblicazione. Per mantenere prestazioni e compatibilità ottimali, utilizza lo stesso tipo di processore GPU o TPU selezionato per i nodi GKE di distribuzione.
  2. Richiesta di inferenza: gli utenti dell'applicazione inviano richieste di inferenza tramite gli endpoint di pubblicazione. Queste richieste vengono indirizzate al servizio Cloud Load Balancing. Cloud Load Balancing distribuisce le richieste in entrata tra i container di servizio nel cluster GKE. Questa distribuzione contribuisce a garantire che nessun singolo container venga sovraccaricato e che le richieste vengano elaborate in modo efficiente.
  3. Gestione delle richieste di inferenza: quando viene ricevuta una richiesta di inferenza, i nodi di computing accedono al modello precaricato per eseguire i calcoli necessari e generare una previsione.
  4. Invio della risposta: i container di pubblicazione inviano le risposte tramite Cloud Load Balancing. Cloud Load Balancing instrada le risposte agli utenti dell'applicazione appropriati, completando il ciclo di richieste di inferenza.

Prodotti utilizzati

Questa architettura di riferimento utilizza i seguenti prodotti Google Cloud :

  • Virtual Private Cloud (VPC): un sistema virtuale che fornisce funzionalità di networking globali e scalabili per i tuoi workload Google Cloud . VPC include il peering di rete VPC, Private Service Connect, l'accesso privato ai servizi e il VPC condiviso.
  • Cloud Load Balancing: un portfolio di bilanciatori del carico globali e regionali, scalabili e ad alte prestazioni.
  • Google Kubernetes Engine (GKE): un servizio Kubernetes che puoi utilizzare per eseguire il deployment e gestire applicazioni containerizzate su larga scala utilizzando l'infrastruttura di Google.
  • Cloud Storage: uno spazio di archiviazione di oggetti a basso costo e senza limiti per diversi tipi di dati. I dati sono accessibili dall'interno e dall'esterno di Google Cloude vengono replicati in più località per la ridondanza.
  • Google Cloud Managed Lustre: un file system parallelo completamente gestito per AI, computing ad alte prestazioni (HPC) e applicazioni ad alta intensità di dati.

Casi d'uso

Managed Lustre è ideale per i workload AI che richiedono una capacità di archiviazione su scala PiB e che devono fornire un accesso a bassa latenza (inferiore al millisecondo) con throughput elevato e IOPS elevati. Questa sezione fornisce esempi di casi d'uso per i quali puoi utilizzare Managed Lustre.

Elaborazione basata su testo e generazione di testo

Gli LLM sono modelli di AI specializzati progettati specificamente per comprendere ed elaborare dati basati su testo. Gli LLM sono addestrati su enormi set di dati di testo, il che consente loro di eseguire una varietà di attività, tra cui la traduzione automatica, la risposta alle domande e il riassunto del testo. Per facilitare l'addestramento e l'elaborazione batch efficienti, l'LLM deve accedere ai set di dati con bassa latenza. Managed Lustre eccelle nelle applicazioni ad alta intensità di dati fornendo il throughput elevato e la bassa latenza necessari sia per l'addestramento che per l'inferenza, il che si traduce in applicazioni basate su LLM più reattive.

Elaborazione di immagini o video ad alta risoluzione

Le applicazioni di AI e ML o i modelli generativi multimodali che elaborano immagini o video ad alta risoluzione, come l'analisi di immagini mediche o i sistemi di guida autonoma, richiedono una grande capacità di archiviazione e un accesso rapido ai dati. Managed Lustre fornisce un file system permanente ad alte prestazioni che consente un caricamento rapido dei dati per accelerare le prestazioni delle applicazioni. Ad esempio, Managed Lustre può archiviare grandi volumi di dati dei pazienti, come risonanze magnetiche e TAC, e può facilitare il caricamento rapido dei dati nei nodi di calcolo per l'addestramento del modello. Questa funzionalità consente ai modelli di AI e ML di analizzare rapidamente i dati per la diagnosi e il trattamento.

Alternative di design

Questa sezione presenta approcci di progettazione alternativi che puoi prendere in considerazione per la tua applicazione di AI e ML in Google Cloud.

Alternativa all'infrastruttura di computing

L'architettura di riferimento in questo documento utilizza GKE per i workload AI e ML. A seconda dei requisiti del tuo carico di lavoro, puoi in alternativa eseguire il deployment di istanze Managed Lustre su Compute Engine con Slurm. Consigliamo questo approccio se devi integrare la proprietà intellettuale (IP) dell'AI proprietaria in un ambiente scalabile e se hai bisogno di flessibilità e controllo per ottimizzare le prestazioni per workload specializzati.

Compute Engine ti offre un controllo più granulare a livello di sistema operativo rispetto a GKE. Quando utilizzi Compute Engine, puoi:

  • Seleziona, configura e gestisci l'ambiente del sistema operativo all'interno delle tue macchine virtuali per soddisfare requisiti specifici dei workload.
  • Personalizza la tua infrastruttura in base alle tue esigenze esatte, inclusa la selezione di tipi di macchine virtuali specifici.
  • Utilizza la famiglia di macchine ottimizzate per l'acceleratore per migliorare le prestazioni con i tuoi workload di AI.

Slurm è un gestore di risorse e workload open source altamente configurabile. Slurm offre un'opzione efficace per la gestione dei workload di AI e ti consente di controllare la configurazione e la gestione delle risorse di computing. Per utilizzare questo approccio, devi avere esperienza nell'amministrazione di Slurm e nella gestione dei sistemi Linux. GKE fornisce un ambiente Kubernetes gestito che automatizza la gestione dei cluster.

Per informazioni sul deployment di Slurm, consulta Esegui il deployment di un cluster HPC con Slurm. Puoi anche eseguire il deployment utilizzando Cluster Toolkit con il progetto iniziale Managed Lustre.

Opzioni acceleratore

Gli acceleratori di macchine sono processori specializzati progettati per velocizzare i calcoli richiesti per i workload di AI e ML. Puoi scegliere GPU o TPU.

  • Gli acceleratori GPU offrono prestazioni eccellenti per un'ampia gamma di attività, tra cui rendering grafico, addestramento deep learning e computing scientifico. Google Cloud offre un'ampia selezione di GPU per soddisfare esigenze di prestazioni e requisiti di prezzo diversi. Per informazioni sui modelli di GPU e sui prezzi, consulta Prezzi delle GPU.
  • Le TPU sono acceleratori AI progettati su misura, ottimizzati per l'addestramento e l'inferenza di modelli di AI di grandi dimensioni. Le TPU sono ideali per una varietà di casi d'uso, tra cui chatbot, generazione di codice, generazione di contenuti multimediali, sintesi vocale, servizi di visione artificiale, motori per suggerimenti e modelli di personalizzazione. Per ulteriori informazioni sui modelli e sui prezzi delle TPU, consulta Prezzi delle TPU.

Alternative di archiviazione

Cloud Storage FUSE con Rapid Cache può essere utilizzato per l'addestramento, il checkpointing e la gestione dei workload. Cloud Storage FUSE con Rapid Cache è la soluzione di archiviazione consigliata per l'inferenza e l'addestramento grazie al costo inferiore e alla facilità di inferenza multiregionale rispetto a Managed Lustre. Per garantire il massimo livello di disponibilità, utilizza Cloud Storage FUSE con Rapid Cache e un bucket multiregionale o a due regioni. Questa configurazione rende i modelli di AI addestrati disponibili in più regioni. Tuttavia, rispetto alle istanze di Managed Lustre, Cloud Storage FUSE può avere un throughput per VM inferiore. Per saperne di più, consulta Ottimizza i workload di AI e ML con Cloud Storage FUSE.

Considerazioni sulla progettazione

Per progettare un deployment di Managed Lustre che ottimizzi la sicurezza, l'affidabilità, i costi, le operazioni e le prestazioni dei tuoi carichi di lavoro di AI e ML su Google Cloud, utilizza le linee guida nelle sezioni seguenti.

Per una panoramica dei principi e dei suggerimenti di architettura specifici per i workload di AI e ML in Google Cloud, consulta la prospettiva di AI e ML nel Well-Architected Framework.

Sicurezza, privacy e conformità

Questa sezione descrive le considerazioni per i workload di AI e ML inGoogle Cloud che soddisfano i tuoi requisiti di sicurezza, privacy e conformità.

Sicurezza SSH

Per facilitare controllo dell'accesso avanzato per le tue applicazioni eseguite in GKE, puoi utilizzare Identity-Aware Proxy (IAP). IAP si integra con la risorsa Ingress di GKE e aiuta a verificare che solo gli utenti autenticati con il ruolo Identity and Access Management (IAM) corretto possano accedere alle applicazioni. Per saperne di più, consulta Abilitazione di IAP per GKE e Controllo dell'accesso con IAM.

Crittografia dei dati

Per impostazione predefinita, i tuoi dati in GKE, inclusi quelli archiviati nell'istanza Managed Lustre, vengono criptati at-rest e in transito utilizzando Google-owned and Google-managed encryption keys. Se devi gestire le tue chiavi di crittografia, puoi utilizzare le chiavi di crittografia gestite dal cliente (CMEK) in Cloud Key Management Service per criptare i dati at-rest nella tua istanza Managed Lustre e puoi criptare i secret GKE a livello di applicazione. Per saperne di più, vedi Utilizzare le chiavi di crittografia gestite dal cliente e Crittografare i secret a livello di applicazione.

Se utilizzi un cluster GKE Standard, puoi utilizzare le seguenti funzionalità di crittografia dei dati aggiuntive:

Isolamento dei dati

Per migliorare la sicurezza e la protezione dei dati, archivia i dati di addestramento in un'istanza Managed Lustre separata dai checkpoint e dai modelli addestrati. L'utilizzo di istanze di archiviazione separate fornisce isolamento delle prestazioni, migliora la sicurezza isolando i dati di addestramento e migliora la protezione dei dati. Sebbene gli elenchi di controllo dell'accesso ti consentano di gestire la sicurezza all'interno di una singola istanza, l'utilizzo di istanze separate fornisce un limite di sicurezza più solido.

Altre considerazioni sulla sicurezza

Nella modalità Autopilot, GKE preconfigura il cluster e gestisce i nodi in base alle best practice di sicurezza, il che ti consente di concentrarti sulla sicurezza specifica del workload. Per maggiori informazioni, consulta Funzionalità di sicurezza di GKE Autopilot e Sicurezza di Kubernetes pronta all'uso con GKE Autopilot.

Per informazioni sulla protezione della privacy dei tuoi dati, consulta Panoramica di Sensitive Data Protection e Ispezione Google Cloud dello spazio di archiviazione e dei database per l'individuazione di dati sensibili.

Per i principi e i suggerimenti di sicurezza specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: sicurezza nel Well-Architected Framework.

Affidabilità

Questa sezione descrive i fattori di progettazione da considerare quando utilizzi questa architettura di riferimento per creare e gestire un'infrastruttura affidabile per il tuo deployment regionale in Google Cloud.

Robustezza contro le interruzioni dell'infrastruttura

Con la modalità Autopilot utilizzata in questa architettura, GKE fornisce le seguenti funzionalità di affidabilità integrate:

  • Il tuo workload utilizza un cluster GKE a livello di regione. Il control plane e i nodi worker sono distribuiti in tre zone diverse all'interno di una regione. I tuoi workload sono protetti dalle interruzioni delle zone. I cluster GKE regionali hanno un uptime accordo sul livello del servizio (SLA) superiore rispetto ai cluster di zona.
  • Non devi creare nodi o gestire i node pool. GKE crea automaticamente i pool di nodi e li scala automaticamente in base ai requisiti dei tuoi carichi di lavoro.

Per aumentare la disponibilità della tua applicazione, puoi pubblicarla da più zone eseguendo il deployment di un'istanza Managed Lustre in ogni zona.

Pianificazione della capacità del cluster

Per assicurarti che sia disponibile una capacità GPU sufficiente quando è richiesta per la scalabilità automatica del cluster GKE, puoi creare e utilizzare le prenotazioni. Una prenotazione fornisce una capacità garantita in una zona specifica per una risorsa specificata. Una prenotazione può essere specifica per un progetto o condivisa tra più progetti. Ti verranno addebitati i costi per le risorse prenotate anche se non ne viene eseguito il provisioning o se non vengono utilizzate. Per saperne di più, consulta Utilizzo delle risorse di zona prenotate.

Durabilità dei dati

Per eseguire il backup e il ripristino dei workload in GKE, attiva Backup per GKE in ogni cluster. Backup per GKE è utile per scenari di ripristino di emergenza, pipeline CI/CD, clonazione di workload e upgrade.

Puoi selezionare carichi di lavoro specifici o tutti i carichi di lavoro di cui vuoi eseguire il backup e il ripristino. Puoi anche eseguire il backup dei workload di un cluster e ripristinarli in un altro cluster. Per ridurre i tempi di inattività dei workload, puoi pianificare l'esecuzione automatica dei backup in modo da poter recuperare rapidamente i workload in caso di incidente.

Ulteriori considerazioni sull'affidabilità

Per i principi e i suggerimenti di affidabilità specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: affidabilità nel Well-Architected Framework.

Ottimizzazione dei costi

Questa sezione fornisce indicazioni per aiutarti a ottimizzare il costo di configurazione e gestione del workflow AI e ML in Google Cloud.

Livelli di prestazioni di Managed Lustre

Quando crei un'istanza Managed Lustre, devi selezionare un livello di prestazioni. Scegli un livello appropriato in base ai requisiti di prestazioni e costi del tuo workload.

Modello di provisioning dei nodi

In modalità Autopilot, GKE ottimizza l'efficienza dell'infrastruttura del cluster in base ai requisiti del carico di lavoro. Per controllare i costi, non devi monitorare costantemente l'utilizzo delle risorse o gestire la capacità.

Se puoi prevedere l'utilizzo di CPU, memoria e archiviazione temporanea del tuo cluster Autopilot, puoi ottenere sconti per impegno di utilizzo. Per ridurre il costo di esecuzione della tua applicazione, puoi utilizzare le VM spot per i tuoi nodi GKE. Le VM spot hanno un prezzo inferiore rispetto alle VM standard, ma non garantiscono la disponibilità.

Gestione delle risorse

Per ottimizzare i costi e le prestazioni tramite una gestione efficiente, utilizza Dynamic Workload Scheduler. Dynamic Workload Scheduler è uno strumento di gestione delle risorse e di pianificazione dei job che ti aiuta a migliorare l'accesso agli acceleratori AI (GPU e TPU). Dynamic Workload Scheduler pianifica tutti gli acceleratori contemporaneamente e può essere eseguito durante le ore non di punta con una gestione definita della capacità degli acceleratori. Pianificando i job in modo strategico, Dynamic Workload Scheduler aiuta a massimizzare l'utilizzo degli acceleratori, ridurre i tempi di inattività e ottimizzare la spesa per il cloud.

Utilizzo delle risorse

Per massimizzare l'utilizzo delle risorse, utilizza un'istanza Managed Lustre per l'addestramento e la pubblicazione. Il consolidamento dei workload di addestramento e distribuzione su un'unica istanza di Managed Lustre riduce al minimo i costi eliminando l'infrastruttura ridondante e semplificando la gestione delle risorse. Tuttavia, potrebbe verificarsi un potenziale conflitto di risorse se entrambi i workload hanno elevate esigenze di velocità effettiva. Se dopo l'addestramento sono disponibili IOPS di riserva, l'utilizzo della stessa istanza può accelerare il caricamento del modello per la distribuzione. Utilizza Cloud Monitoring per verificare di allocare risorse sufficienti per soddisfare le tue esigenze di throughput.

Per ridurre al minimo i costi di archiviazione, esporta i dati dall'istanza Managed Lustre in una classe Cloud Storage a costi inferiori dopo l'addestramento e il checkpoint. L'esportazione dei dati in Cloud Storage ti consente anche di eliminare e ricreare le istanze Managed Lustre in base alle esigenze del tuo carico di lavoro.

Per aiutarti a controllare i costi del tuo bucket Cloud Storage, attiva la gestione del ciclo di vita degli oggetti o Autoclass. La gestione del ciclo di vita degli oggetti sposta automaticamente i dati meno recenti o meno utilizzati in classi di archiviazione meno costose o li elimina, in base alle regole impostate. Autoclass sposta i dati tra le classi di archiviazione in base ai tuoi pattern di accesso. L'utilizzo della gestione del ciclo di vita degli oggetti o di Autoclass contribuisce a garantire la classe di archiviazione più conveniente per l'utilizzo dei dati, riducendo al minimo le spese e contribuendo a evitare costi di recupero imprevisti.

Ulteriori considerazioni sui costi

Per principi e consigli di ottimizzazione dei costi specifici per i workload AI e ML, consulta Prospettiva AI e ML: ottimizzazione dei costi nel framework Well-Architected. Per informazioni sull'ottimizzazione dei costi su GKE, consulta Best practice per l'esecuzione di applicazioni Kubernetes con ottimizzazione dei costi su GKE.

Eccellenza operativa

Questa sezione fornisce indicazioni per aiutarti a progettare un'infrastruttura per il tuo flusso di lavoro di AI e ML che puoi gestire in modo efficiente.

Gestione del modello

Per monitorare e gestire gli artefatti dei modelli, inclusi i file binari e i metadati, utilizza Model Registry su Gemini Enterprise Agent Platform, che ti consente di archiviare, organizzare ed eseguire il deployment delle versioni dei modelli senza problemi.

Per ottimizzare l'affidabilità del modello, implementa Model Monitoring su Gemini Enterprise Agent Platform per rilevare la deriva dei dati, monitorare le prestazioni e identificare le anomalie in produzione.

Scalabilità automatica dei cluster GKE

Con i cluster Autopilot, non è necessario eseguire il provisioning o gestire i pool di nodi. Il provisioning dei pool di nodi viene eseguito automaticamente tramite il provisioning automatico dei nodi e la scalabilità automatica viene eseguita per soddisfare i requisiti dei tuoi workload.

Per i cluster GKE Standard, il gestore della scalabilità automatica dei cluster ridimensiona automaticamente il numero di nodi all'interno di un pool di nodi in base alle esigenze del workload. Per controllare il comportamento di scalabilità automatica del gestore della scalabilità automatica del cluster, puoi specificare una dimensione minima e massima per ipool di nodiol.

Quando utilizzi il gestore della scalabilità automatica dei cluster GKE, non attivare la scalabilità automatica di Compute Engine per i gruppi di istanze gestite (MIG) per i nodi del cluster. Il gestore della scalabilità automatica dei cluster GKE è separato dal gestore della scalabilità automatica di Compute Engine. Il gestore della scalabilità automatica dei cluster GKE è progettato per scalare il carico di lavoro analizzando l'utilizzo delle risorse nel cluster GKE, inclusi i MIG sottostanti. L'utilizzo di entrambi i gestori della scalabilità automatica può portare a decisioni di scalabilità in conflitto. Per saperne di più, consulta Informazioni sul gestore della scalabilità automatica dei cluster GKE.

Monitoraggio delle metriche

Per identificare i colli di bottiglia, monitorare le metriche chiave come la latenza, la percentuale di errori e l'utilizzo delle risorse, utilizza Cloud Monitoring. Cloud Monitoring offre visibilità in tempo reale per monitorare i pattern di utilizzo delle risorse e identificare potenziali inefficienze.

Gestione dell'archiviazione

Per automatizzare la gestione dei dati in base all'utilizzo del bucket Cloud Storage, attiva la gestione del ciclo di vita degli oggetti o Autoclass. La gestione del ciclo di vita degli oggetti sposta automaticamente i dati meno recenti o meno utilizzati in classi di archiviazione meno costose o li elimina, in base alle regole impostate. Autoclass sposta i dati tra le classi di archiviazione in base ai tuoi pattern di accesso. L'utilizzo della gestione del ciclo di vita degli oggetti o di Autoclass contribuisce a garantire un'applicazione coerente dei criteri nell'infrastruttura di archiviazione e a ridurre il potenziale errore umano, il che consente di ottenere prestazioni e risparmi sui costi senza intervento manuale.

Ulteriori considerazioni operative

Per i principi e i suggerimenti di eccellenza operativa specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: eccellenza operativa nel Well-Architected Framework.

Ottimizzazione delle prestazioni

Questa sezione fornisce indicazioni per aiutarti a ottimizzare il rendimento del tuo flusso di lavoro AI e ML in Google Cloud. Le indicazioni riportate in questa sezione non sono esaustive. Per ulteriori informazioni sull'ottimizzazione del rendimento per il tuo ambiente Managed Lustre, vedi Considerazioni sul rendimento.

Considerazioni sull'addestramento

Ogni VM A3 o VM A4 può fornire 20 GB/s, circa 2,5 GB/s per GPU, da un'istanza Managed Lustre. Prima dell'inizio dell'addestramento, i dati di addestramento devono essere precaricati da Cloud Storage e importati in Managed Lustre per ridurre al minimo la latenza durante l'addestramento. Per massimizzare il throughput per il tuo workload di addestramento, esegui il provisioning dell'istanza Managed Lustre in modo che corrisponda alle tue esigenze di throughput e capacità di archiviazione. Ad esempio, un'istanza Managed Lustre da 20 TiB fornisce un throughput aggregato compreso tra 2,5 GB/s e 20 GB/s su tutti i client, a seconda del livello di prestazioni selezionato. Se l'addestramento richiede un throughput più elevato, devi aumentare di conseguenza le dimensioni dell'istanza Managed Lustre.

Considerazioni sul checkpointing

Per sfruttare l'elevato throughput di scrittura offerto da Managed Lustre e ridurre al minimo il tempo di addestramento, utilizza Managed Lustre sia per l'addestramento che per il checkpoint. Questo approccio contribuisce a un utilizzo efficiente delle risorse e a ridurre il TCO per le risorse GPU mantenendo l'addestramento e il checkpointing il più veloci possibile. Per ottenere un checkpointing rapido, puoi eseguire il checkpointing distribuito e asincrono. Poiché Managed Lustre è persistente, puoi archiviare i checkpoint all'interno della stessa istanza. Per un'ulteriore ottimizzazione dei costi e per l'archiviazione a lungo termine, valuta la possibilità di esportare i checkpoint in un bucket Cloud Storage.

Considerazioni sulla pubblicazione

Per ottenere prestazioni ottimali durante la pubblicazione, devi ridurre al minimo il tempo necessario per caricare i modelli in memoria. Managed Lustre offre un throughput elevato per VM di oltre 20 GB/s, che fornisce un throughput aggregato del cluster elevato. Questa funzionalità può aiutarti a ridurre al minimo i tempi di caricamento dei modelli su migliaia di VM. Per monitorare le metriche chiave che ti consentono di identificare i colli di bottiglia, utilizza Cloud Monitoring e verifica di eseguire il deployment di una capacità sufficiente man mano che le prestazioni aumentano con la capacità di archiviazione.

Posizionamento delle risorse

Per ridurre al minimo la latenza e massimizzare le prestazioni, crea l'istanza Managed Lustre in una regione geograficamente vicina ai tuoi client di computing GPU o TPU. Nell'architettura di riferimento descritta in questo documento, i container GKE e il file system si trovano nella stessa zona.

  • Per l'addestramento e il checkpoint: per risultati ottimali, esegui il deployment dei client e delle istanze Managed Lustre nella stessa zona. Questa collocazione riduce al minimo i tempi di trasferimento dei dati e massimizza l'utilizzo del throughput di scrittura di Managed Lustre.
  • Per l'inferenza: sebbene la collocazione con i client di computing nella stessa zona sia l'ideale, può essere sufficiente avere un'istanza Managed Lustre per regione. Questo approccio evita i costi aggiuntivi associati al deployment di più istanze e aiuta a massimizzare le prestazioni di calcolo. Tuttavia, se hai bisogno di capacità o throughput aggiuntivi, potresti prendere in considerazione il deployment di più di un'istanza per regione.

Per informazioni sulle regioni e sulle zone supportate per le istanze di Managed Lustre, consulta Località supportate.

Altre considerazioni sul rendimento

Per i principi e i suggerimenti di ottimizzazione delle prestazioni specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione delle prestazioni nel Well-Architected Framework.

Deployment

Per creare e montare un'istanza Managed Lustre, ti consigliamo di utilizzare il modulo Managed Lustre disponibile in Cluster Toolkit. Cluster Toolkit è un toolkit modulare basato su Terraform progettato per il deployment di ambienti AI e ML ripetibili suGoogle Cloud.

Per informazioni su come eseguire manualmente il deployment di Managed Lustre su GKE, consulta Crea un'istanza Managed Lustre e Accedi alle istanze Managed Lustre esistenti su GKE utilizzando il driver CSI Managed Lustre.

Per informazioni su come configurare una rete VPC per Managed Lustre, consulta Configura una rete VPC.

Passaggi successivi

Collaboratori

Autore: Samantha He | Technical Writer

Altri collaboratori: