Ottimizza i carichi di lavoro di IA e ML con Managed Lustre di Google Cloud

Last reviewed 2026-11-11 UTC

Questo documento fornisce un'architettura di riferimento che mostra come utilizzare Google Cloud Managed Lustre per ottimizzare le prestazioni dei workload di AI e ML di cui è stato eseguito il deployment su Google Kubernetes Engine (GKE). Questa architettura utilizza Managed Lustre per accelerare il caricamento dei dati, il checkpointing e l'erogazione del modello per i workload di AI e ML che richiedono una capacità di archiviazione su scala PiB e un accesso a bassa latenza (inferiore al millisecondo) con un throughput elevato e un numero elevato di operazioni di I/O al secondo (IOPS). Il pubblico di destinazione di questo documento include architetti e tecnici professionisti che progettano, eseguono il provisioning e gestiscono lo spazio di archiviazione per i workload di AI su Google Cloud. Il documento presuppone che tu abbia una conoscenza dei concetti di Kubernetes e del ciclo di vita, dei processi e delle funzionalità del ML.

Architettura

Il seguente diagramma mostra un'architettura di esempio per l'utilizzo di Managed Lustre per ottimizzare le prestazioni di un workload di addestramento del modello e di un workload di distribuzione:

Un'architettura utilizza Managed Lustre per ottimizzare le prestazioni di un workload di addestramento del modello e di un workload di distribuzione.

I workload mostrati nell'architettura precedente sono descritti in dettaglio nelle sezioni successive. Questa architettura include i seguenti componenti:

  • Cluster GKE: GKE gestisce gli host di computing su cui vengono eseguiti i processi di addestramento e gestione dei modelli di AI e ML. GKE gestisce l'infrastruttura sottostante dei cluster, inclusi il control plane, i nodi e tutti i componenti di sistema.
  • Kubernetes Scheduler: il control plane di GKE pianifica i workload e ne gestisce il ciclo di vita, la scalabilità e gli upgrade.
  • Rete Virtual Private Cloud (VPC): tutte le risorse Google Cloud che si trovano nell'architettura utilizzano una singola rete VPC.
  • Cloud Load Balancing: in questa architettura, Cloud Load Balancing distribuisce in modo efficiente le richieste di inferenza in entrata dagli utenti dell'applicazione ai container di distribuzione nel cluster GKE. L'utilizzo di Cloud Load Balancing contribuisce a garantire alta affidabilità, scalabilità e prestazioni ottimali per l'applicazione di AI e ML. Per saperne di più, consulta Informazioni sul bilanciamento del carico di GKE.
  • Unità di elaborazione grafica (GPU) o Tensor Processing Unit (TPU): le GPU e le TPU sono acceleratori di macchine specializzati che migliorano le prestazioni del workload AI e ML. Per garantire efficienza e compatibilità ottimali, utilizza lo stesso tipo di acceleratore per l'intero workload di AI e ML. Per ulteriori informazioni su come scegliere un tipo di processore appropriato, consulta la sezione Opzioni di acceleratore più avanti in questo documento.
  • Managed Lustre: Managed Lustre accelera l'addestramento e l'erogazione di AI e ML fornendo un file system parallelo (PFS) permanente e ad alte prestazioni ottimizzato per una bassa latenza e un throughput elevato. Rispetto all'utilizzo di Cloud Storage da solo, l'utilizzo di Managed Lustre riduce notevolmente il tempo di addestramento e migliora la reattività dei modelli durante la pubblicazione. Questi miglioramenti si notano soprattutto nei workload più impegnativi che richiedono un accesso rapido e coerente ai dati condivisi.

Workload di addestramento

Nell'architettura precedente, i passaggi del flusso di dati durante l'addestramento del modello sono i seguenti:

  1. Caricamento dei dati in Cloud Storage: carichi il set di dati di addestramento completo in un bucket Cloud Storage. Il bucket funge da repository centrale sicuro e scalabile e da fonte di riferimento.
  2. Copia i dati in Managed Lustre: per trasferire il corpus di dati di addestramento, puoi procedere nel seguente modo:
  3. Esegui job di addestramento in GKE: il processo di addestramento del modello viene eseguito sui nodi GKE. Utilizzando Managed Lustre come origine dati anziché caricare i dati direttamente da Cloud Storage, i nodi GKE possono accedere ai dati di addestramento e caricarli con una velocità notevolmente maggiore e una latenza inferiore. Managed Lustre consente inoltre di ridurre il tempo necessario per l'inizio del trasferimento del primo byte, misurato dal Time to First Byte (TTFB). L'utilizzo di Managed Lustre consente di ridurre i tempi di caricamento dei dati e di accelerare il processo di addestramento complessivo, in particolare per set di dati di grandi dimensioni con file di lettura di piccole dimensioni e modelli complessi. A seconda dei requisiti del workload, puoi utilizzare GPU o TPU. Per informazioni su come scegliere un tipo di processore appropriato, consulta Opzioni di acceleratore più avanti in questo documento.
  4. Salva i checkpoint di addestramento in Managed Lustre: il processo di addestramento salva i checkpoint in Managed Lustre in base alle metriche o agli intervalli che definisci. I checkpoint acquisiscono lo stato del modello a intervalli frequenti. I checkpoint possono essere esportati in Cloud Storage in modo selettivo per l'archiviazione a lungo termine.

Workload di inferenza

Nell'architettura precedente, i passaggi del flusso di dati durante l'inferenza del modello sono i seguenti:

  1. Carica il modello per l'erogazione: quando il modello è pronto per il deployment, i pod GKE caricano il modello addestrato dall'istanza Managed Lustre nei nodi di erogazione. Se l'istanza Managed Lustre che hai utilizzato durante l'addestramento ha una capacità di IOPS sufficiente e si trova nella stessa zona degli acceleratori, puoi utilizzare la stessa istanza Managed Lustre per gestire il modello. Il riutilizzo dell'istanza Managed Lustre consente una condivisione efficiente delle risorse tra l'addestramento e l'erogazione. Per mantenere prestazioni e compatibilità ottimali, utilizza lo stesso tipo di processore GPU o TPU che hai selezionato per i nodi GKE di distribuzione.
  2. Richiesta di inferenza: gli utenti dell'applicazione inviano richieste di inferenza tramite gli endpoint di distribuzione. Queste richieste vengono indirizzate al servizio Cloud Load Balancing. Cloud Load Balancing distribuisce le richieste in entrata tra i container di distribuzione nel cluster GKE. Questa distribuzione contribuisce a garantire che nessun singolo container venga sovraccaricato e che le richieste vengano elaborate in modo efficiente.
  3. Gestione delle richieste di inferenza: quando viene ricevuta una richiesta di inferenza, i nodi di computing accedono al modello precaricato per eseguire i calcoli necessari e generare una previsione.
  4. Invio della risposta: i container di gestione inviano le risposte tramite Cloud Load Balancing. Cloud Load Balancing indirizza le risposte agli utenti dell'applicazione appropriati. Questo routing completa il ciclo di richiesta di inferenza.

Prodotti utilizzati

Questa architettura di riferimento utilizza i seguenti prodotti Google Cloud :

  • Virtual Private Cloud (VPC): un sistema virtuale che fornisce funzionalità di networking globali e scalabili per i tuoi workload Google Cloud . VPC include il peering di rete VPC, Private Service Connect, l'accesso privato ai servizi e il VPC condiviso.
  • Cloud Load Balancing: un portfolio di bilanciatori del carico globali e regionali, scalabili e ad alte prestazioni.
  • Google Kubernetes Engine (GKE): un servizio Kubernetes che puoi utilizzare per eseguire il deployment e gestire applicazioni containerizzate su larga scala utilizzando l'infrastruttura di Google.
  • Cloud Storage: un archivio di oggetti a basso costo e senza limiti per diversi tipi di dati. I dati sono accessibili dall'interno e dall'esterno di Google Cloude vengono replicati in più località per la ridondanza.
  • Google Cloud Managed Lustre: un file system parallelo completamente gestito per AI, computing ad alte prestazioni (HPC) e applicazioni ad alta intensità di dati.

Casi d'uso

Managed Lustre è un PFS permanente completamente Google Cloudgestito basato su DataDirect Networks (DDN) EXAScaler Lustre. Managed Lustre è particolarmente efficace quando esegui la migrazione di workload esistenti da Lustre o da altre soluzioni PFS. Per massimizzare l'utilizzo delle risorse, i workload che utilizzano Managed Lustre per l'addestramento devono utilizzare la stessa istanza anche per l'inferenza e l'erogazione.

Managed Lustre è la soluzione consigliata per i workload di AI che richiedono i seguenti criteri:

  • Capacità di archiviazione fino alla scala di PiB.
  • Accesso a latenza molto bassa (meno di un millisecondo) con throughput elevato.
  • IOPS elevate.
  • Scala le prestazioni fino a 20.000 connessioni client.
  • Throughput elevato per singolo client.

Managed Lustre offre i seguenti vantaggi per i workload AI:

  • Costo totale di proprietà (TCO) inferiore per l'addestramento: Managed Lustre contribuisce a ridurre i tempi di addestramento fornendo i dati ai nodi di computing in modo efficiente. Questa funzionalità contribuisce a ridurre il TCO per l'addestramento dei modelli di AI e ML.
  • TCO inferiore per la pubblicazione: Managed Lustre offre funzionalità ad alte prestazioni che consentono un caricamento più rapido dei modelli e una pubblicazione dell'inferenza ottimizzata. Queste funzionalità aiutano a ridurre i costi di calcolo e a migliorare l'utilizzo delle risorse.
  • Utilizzo efficiente delle risorse: Managed Lustre ti consente di combinare il checkpoint e l'addestramento in un'unica istanza. Questa condivisione delle risorse consente di massimizzare l'utilizzo efficiente della velocità effettiva di lettura e scrittura in un unico sistema di archiviazione ad alte prestazioni.

Le sezioni seguenti forniscono esempi di casi d'uso per i quali puoi utilizzare Managed Lustre.

Elaborazione basata su testo e generazione di testo

Gli LLM sono modelli di AI specializzati progettati specificamente per comprendere ed elaborare dati basati su testo. Gli LLM sono addestrati su enormi set di dati di testo, il che consente loro di eseguire una serie di attività, tra cui la traduzione automatica, la risposta alle domande e il riassunto del testo. Per facilitare l'addestramento e l'elaborazione batch efficienti, l'LLM deve accedere ai set di dati con bassa latenza. Managed Lustre eccelle nelle applicazioni ad alta intensità di dati fornendo il throughput elevato e la bassa latenza necessari sia per l'addestramento che per l'inferenza. Queste prestazioni si traducono in applicazioni basate su LLM più reattive.

Elaborazione di immagini o video ad alta risoluzione

Le applicazioni di AI e ML o i modelli generativi multimodali che elaborano immagini o video ad alta risoluzione, come l'analisi di immagini mediche o i sistemi di guida autonoma, richiedono una grande capacità di archiviazione e un accesso rapido ai dati. Managed Lustre fornisce un file system permanente ad alte prestazioni che consente un caricamento rapido dei dati per accelerare le prestazioni delle applicazioni. Ad esempio, Managed Lustre può archiviare grandi volumi di dati dei pazienti, come scansioni MRI e TC, e può facilitare il caricamento rapido dei dati sui nodi di computing per l'addestramento dei modelli. Questa funzionalità consente ai modelli di AI e ML di analizzare rapidamente i dati per la diagnosi e il trattamento.

Alternative di progettazione

Questa sezione presenta approcci di progettazione alternativi che puoi prendere in considerazione per la tua applicazione di AI e ML in Google Cloud.

Alternativa all'infrastruttura di computing

L'architettura di riferimento in questo documento utilizza GKE per i workload di AI e ML. A seconda dei requisiti del tuo workload, puoi in alternativa eseguire il deployment delle istanze di Managed Lustre su Compute Engine con Slurm. Consigliamo questo approccio se devi integrare la proprietà intellettuale (IP) dell'AI proprietaria in un ambiente scalabile e se hai bisogno di flessibilità e controllo per ottimizzare le prestazioni per workload specializzati.

Compute Engine ti offre un controllo più granulare a livello di sistema operativo rispetto a GKE. Quando utilizzi Compute Engine, puoi:

  • Seleziona, configura e gestisci l'ambiente del sistema operativo nelle tue macchine virtuali per soddisfare requisiti specifici dei workload.
  • Personalizza l'infrastruttura in base alle tue esigenze, inclusa la selezione di tipi di VM specifici.
  • Utilizza la famiglia di macchine ottimizzate per l'acceleratore per migliorare le prestazioni con i tuoi workload di AI.

Slurm è un gestore di risorse e workload open source altamente configurabile. Slurm offre un'opzione efficace per la gestione dei workload di AI e ti consente di controllare la configurazione e la gestione delle risorse di computing. Per utilizzare questo approccio, devi avere esperienza nell'amministrazione di Slurm e nella gestione dei sistemi Linux. GKE fornisce un ambiente Kubernetes gestito che automatizza la gestione dei cluster.

Per informazioni sul deployment di Slurm, consulta Esegui il deployment di un cluster di computing ad alte prestazioni (HPC) con Slurm. Puoi eseguire il deployment utilizzando Cluster Toolkit con il progetto iniziale di Managed Lustre o utilizzare Cluster Director.

Opzioni acceleratore

Gli acceleratori di macchine sono processori specializzati progettati per velocizzare i calcoli richiesti per i workload di AI e ML. Puoi scegliere GPU o TPU.

  • Gli acceleratori GPU offrono prestazioni eccellenti per un'ampia gamma di attività, tra cui il rendering grafico, l'addestramento di deep learning e il computing scientifico. Google Cloud offre un'ampia selezione di GPU per soddisfare esigenze di prestazioni e requisiti di prezzo diversi. Per informazioni sui modelli e sui prezzi delle GPU, consulta Prezzi delle GPU.
  • Le TPU sono acceleratori AI progettati su misura, ottimizzati per l'addestramento e l'inferenza di modelli di AI di grandi dimensioni. Le TPU sono ideali per una varietà di casi d'uso, tra cui chatbot, generazione di codice, generazione di contenuti multimediali, sintesi vocale, servizi di visione artificiale, motori per suggerimenti e modelli di personalizzazione. Per ulteriori informazioni sui modelli e sui prezzi delle TPU, consulta Prezzi delle TPU.

Alternative di archiviazione a Managed Lustre

Puoi utilizzare Cloud Storage FUSE con Rapid Cache per i workload di addestramento, checkpoint e distribuzione. Cloud Storage FUSE con Rapid Cache ha un costo inferiore e fornisce un'inferenza multiregionale più semplice rispetto a Managed Lustre. Per garantire il massimo livello di disponibilità, utilizza Cloud Storage FUSE con Rapid Cache e un bucket multiregionale o a due regioni. Questa configurazione rende disponibili i modelli di AI addestrati in più regioni. Tuttavia, rispetto alle istanze di Managed Lustre, Cloud Storage FUSE può avere un throughput per VM inferiore. Per saperne di più, consulta Ottimizza i workload di AI e ML con Cloud Storage FUSE.

Considerazioni sulla progettazione

Per progettare un deployment di Managed Lustre che ottimizzi la sicurezza, l'affidabilità, i costi, le operazioni e le prestazioni dei tuoi workload di AI e ML su Google Cloud, utilizza le linee guida riportate nelle sezioni seguenti.

Per una panoramica dei principi e dei suggerimenti di architettura specifici per i workload di AI e ML in Google Cloud, consulta la prospettiva di AI e ML nel Well-Architected Framework.

Sicurezza, privacy e conformità

Questa sezione descrive le considerazioni per i workload di AI e ML inGoogle Cloud che soddisfano i tuoi requisiti di sicurezza, privacy e conformità.

Sicurezza SSH

Per facilitare controllo dell'accesso avanzato per le tue applicazioni eseguite in GKE, puoi utilizzare Identity-Aware Proxy (IAP). IAP si integra con la risorsa Ingress di GKE e aiuta a verificare che solo gli utenti autenticati con il ruolo Identity and Access Management (IAM) corretto possano accedere alle applicazioni. Per saperne di più, consulta Abilitazione di IAP per GKE e Controllo dell'accesso con IAM.

Crittografia dei dati

Per impostazione predefinita, i tuoi dati in GKE, inclusi quelli archiviati nell'istanza Managed Lustre, vengono criptati at-rest e in transito utilizzando Google-owned and Google-managed encryption keys. Se devi gestire le tue chiavi di crittografia, puoi utilizzare le chiavi di crittografia gestite dal cliente (CMEK) in Cloud Key Management Service per criptare i dati at-rest nell'istanza di Managed Lustre e puoi criptare i secret di GKE a livello di applicazione. Per saperne di più, consulta Utilizza le chiavi di crittografia gestite dal cliente e Cripta i secret a livello di applicazione.

Se utilizzi un cluster GKE Standard, puoi utilizzare le seguenti funzionalità aggiuntive di crittografia dei dati:

Isolamento dei dati

Per migliorare la sicurezza e la protezione dei dati, archivia i dati di addestramento in un'istanza Managed Lustre separata dai checkpoint e dai modelli addestrati. L'utilizzo di istanze di archiviazione separate fornisce l'isolamento delle prestazioni, migliora la sicurezza isolando i dati di addestramento e migliora la protezione dei dati. Sebbene gli elenchi di controllo dell'accesso consentano di gestire la sicurezza in un'unica istanza, l'utilizzo di istanze separate fornisce un confine di sicurezza più solido.

Altre considerazioni sulla sicurezza

Nella modalità Autopilot, GKE preconfigura il cluster e gestisce i nodi in base alle best practice di sicurezza. Questa configurazione ti consente di concentrarti sulla sicurezza specifica del workload. Per saperne di più, consulta Funzionalità di sicurezza di GKE Autopilot e Sicurezza di Kubernetes pronta all'uso con GKE Autopilot.

Per informazioni sulla protezione della privacy dei tuoi dati, consulta la panoramica di Sensitive Data Protection e Ispeziona lo spazio di archiviazione e i database Google Cloud per l'individuazione di dati sensibili.

Per i principi e i suggerimenti di sicurezza specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: sicurezza nel framework Well-Architected.

Affidabilità

Questa sezione descrive i fattori di progettazione da considerare quando utilizzi questa architettura di riferimento per creare e gestire un'infrastruttura affidabile per il tuo deployment regionale in Google Cloud.

Robustezza contro le interruzioni dell'infrastruttura

Con la modalità Autopilot utilizzata in questa architettura, GKE offre le seguenti funzionalità di affidabilità integrate:

  • Il tuo workload utilizza un cluster GKE a livello di regione. Il control plane e i nodi worker sono distribuiti in tre zone diverse di una regione. I tuoi workload sono robusti contro le interruzioni delle zone. I cluster GKE regionali hanno un accordo sul livello del servizio (SLA) con un uptime superiore rispetto ai cluster di zona.
  • Non è necessario creare nodi o gestire pool di nodi. GKE crea automaticamente i node pool e li scala automaticamente in base ai requisiti dei tuoi workload.

Per aumentare la disponibilità della tua applicazione, puoi gestirla da più zone eseguendo il deployment di un'istanza Managed Lustre in ogni zona.

Pianificazione della capacità del cluster

Per assicurarti che sia disponibile una capacità GPU sufficiente quando è necessaria per la scalabilità automatica del cluster GKE, puoi creare e utilizzare le prenotazioni. Una prenotazione fornisce una capacità garantita in una zona specifica per una risorsa specificata. Una prenotazione può essere specifica per un progetto o condivisa tra più progetti. Ti verranno addebitati i costi per le risorse prenotate anche se non ne esegui il provisioning o non le utilizzi. Per saperne di più, consulta Utilizzo delle risorse di zona prenotate.

Durabilità dei dati

Per eseguire il backup e il ripristino dei workload in GKE, abilita Backup per GKE in ogni cluster. Backup per GKE è utile per il ripristino di emergenza, le pipeline di integrazione continua e distribuzione continua (CI/CD), la clonazione dei workload e gli scenari di upgrade.

Puoi selezionare workload specifici o tutti i workload di cui vuoi eseguire il backup e il ripristino. Puoi anche eseguire il backup dei workload di un cluster e ripristinarli in un altro cluster. Per ridurre i tempi di inattività dei workload, puoi pianificare l'esecuzione automatica dei backup per recuperare rapidamente i workload in caso di incidente.

Ulteriori considerazioni sull'affidabilità

Per i principi e i suggerimenti di affidabilità specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: affidabilità nel Well-Architected Framework.

Ottimizzazione dei costi

Questa sezione fornisce indicazioni per aiutarti a ottimizzare i costi di configurazione e gestione del flusso di lavoro di AI e ML in Google Cloud.

Livelli di prestazioni di Managed Lustre

Quando crei un'istanza Managed Lustre, devi selezionare un livello di prestazioni:

  • Livello SSD: unità a stato solido (SSD) per le massime prestazioni.
  • Livello ibrido: SSD con hard disk (HDD) per workload memorizzabili nella cache e costi più bassi.

Scegli un livello appropriato in base ai requisiti di prestazioni e costi del tuo workload.

Modello di provisioning dei nodi

In modalità Autopilot, GKE ottimizza l'efficienza dell'infrastruttura del cluster in base ai requisiti del workload. Per controllare i costi, non è necessario monitorare costantemente l'utilizzo delle risorse o gestire la capacità.

Se puoi prevedere l'utilizzo di CPU, memoria e archiviazione temporanea del tuo cluster Autopilot, puoi ottenere sconti per impegno di utilizzo. Per ridurre il costo di esecuzione della tua applicazione, puoi utilizzare le VM spot per i tuoi nodi GKE. Le VM spot hanno un prezzo inferiore rispetto alle VM standard, ma non garantiscono la disponibilità.

Gestione delle risorse

Per ottimizzare i costi e le prestazioni tramite una gestione efficiente, utilizza Dynamic Workload Scheduler. Dynamic Workload Scheduler è uno strumento di gestione delle risorse e di pianificazione dei job che ti aiuta a migliorare l'accesso agli acceleratori AI (GPU e TPU). Dynamic Workload Scheduler pianifica tutti gli acceleratori contemporaneamente e può essere eseguito durante le ore non di punta con una gestione definita della capacità degli acceleratori. Pianificando i job in modo strategico, Dynamic Workload Scheduler aiuta a massimizzare l'utilizzo degli acceleratori, ridurre i tempi di inattività e ottimizzare la spesa per il cloud.

Utilizzo delle risorse

Per massimizzare l'utilizzo delle risorse, utilizza un'istanza Managed Lustre per l'addestramento e la pubblicazione. Il consolidamento dei workload di addestramento e distribuzione su un'unica istanza di Managed Lustre riduce al minimo i costi eliminando l'infrastruttura ridondante e semplificando la gestione delle risorse. Tuttavia, potrebbe verificarsi una potenziale contesa delle risorse se entrambi i workload hanno requisiti di throughput elevati. Se dopo l'addestramento sono disponibili IOPS di riserva, l'utilizzo della stessa istanza può accelerare il caricamento del modello per la distribuzione. Utilizza Cloud Monitoring per verificare di allocare risorse sufficienti per soddisfare le tue esigenze di throughput.

Per ridurre al minimo i costi di archiviazione, esporta i dati dall'istanza Managed Lustre in una classe Cloud Storage a costo inferiore dopo l'addestramento e il checkpoint. L'esportazione dei dati in Cloud Storage ti consente anche di eliminare e ricreare le istanze di Managed Lustre in base alle esigenze del tuo workload.

Per controllare i costi del bucket Cloud Storage, attiva la gestione del ciclo di vita degli oggetti o Autoclass. La gestione del ciclo di vita degli oggetti sposta automaticamente i dati meno recenti o meno utilizzati in classi di archiviazione meno costose o li elimina, in base alle regole impostate. Autoclass sposta i dati tra le classi di archiviazione in base ai pattern di accesso. L'utilizzo della gestione del ciclo di vita degli oggetti o di Autoclass contribuisce a garantire la classe di archiviazione più conveniente per l'utilizzo dei dati, riducendo al minimo le spese e contribuendo a evitare tariffe di recupero impreviste.

Ulteriori considerazioni sui costi

Per i principi e i suggerimenti di ottimizzazione dei costi specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione dei costi nel Well-Architected Framework. Per informazioni sull'ottimizzazione dei costi su GKE, consulta Best practice per l'esecuzione di applicazioni Kubernetes con ottimizzazione dei costi su GKE.

Eccellenza operativa

Questa sezione fornisce indicazioni per aiutarti a progettare un'infrastruttura per il tuo flusso di lavoro di AI e ML che puoi gestire in modo efficiente.

Gestione del modello

Per monitorare e gestire gli artefatti dei modelli, inclusi i file binari e i metadati, utilizza Model Registry su Gemini Enterprise Agent Platform. Model Registry su Gemini Enterprise Agent Platform ti consente di archiviare, organizzare ed eseguire il deployment delle versioni dei modelli senza problemi.

Per ottimizzare l'affidabilità del modello, implementa Model Monitoring su Gemini Enterprise Agent Platform per rilevare la deviazione dei dati, monitorare le prestazioni e identificare le anomalie in produzione.

Scalabilità automatica dei cluster GKE

Con i cluster Autopilot, non è necessario eseguire il provisioning o gestire i pool di nodi. Il provisioning automatico dei nodi esegue automaticamente il provisioning dei node pool e li scala in modo da soddisfare i requisiti dei tuoi workload.

Per i cluster GKE Standard, il gestore della scalabilità automatica dei cluster ridimensiona automaticamente il numero di nodi in un pool di nodi in base alle esigenze del workload. Per controllare il comportamento di scalabilità automatica del gestore della scalabilità automatica del cluster, puoi specificare una dimensione minima e massima per il pool di nodi.

Quando utilizzi il gestore della scalabilità automatica dei cluster GKE, non attivare la scalabilità automatica di Compute Engine per i gruppi di istanze gestite (MIG) per i nodi del cluster. Il gestore della scalabilità automatica dei cluster GKE è separato dal gestore della scalabilità automatica di Compute Engine. Il gestore della scalabilità automatica dei cluster GKE è progettato per scalare il workload analizzando l'utilizzo delle risorse nel cluster GKE, inclusi i MIG sottostanti. L'utilizzo di entrambi i gestori della scalabilità automatica può portare a decisioni di scalabilità in conflitto. Per saperne di più, consulta Informazioni sul gestore della scalabilità automatica dei cluster GKE.

Monitoraggio delle metriche

Per identificare i colli di bottiglia, monitora le metriche chiave come la latenza, il tasso di errore e l'utilizzo delle risorse utilizzando Cloud Monitoring. Cloud Monitoring offre visibilità in tempo reale per monitorare i pattern di utilizzo delle risorse e identificare potenziali inefficienze.

Gestione dell'archiviazione

Per automatizzare la gestione dei dati in base all'utilizzo per il tuo bucket Cloud Storage, attiva la gestione del ciclo di vita degli oggetti o Autoclass. La gestione del ciclo di vita degli oggetti sposta automaticamente i dati meno recenti o meno utilizzati in classi di archiviazione meno costose o li elimina, in base alle regole impostate. Autoclass sposta i dati tra le classi di archiviazione in base ai pattern di accesso. L'utilizzo della gestione del ciclo di vita degli oggetti o di Autoclass contribuisce a garantire un'applicazione coerente delle policy nell'infrastruttura di archiviazione e a ridurre i potenziali errori umani. Questa automazione offre risparmi sia in termini di prestazioni che di costi senza interventi manuali.

Gestione della capacità

Quando un'istanza Managed Lustre si avvicina alla capacità massima o ha un utilizzo non bilanciato dell'Object Storage Target (OST), potresti riscontrare errori prematuri di spazio esaurito. Per evitare errori prematuri di spazio esaurito, segui questi passaggi:

Per informazioni sulla mitigazione degli errori di spazio esaurito, consulta Errori "Spazio esaurito sul dispositivo".

Ulteriori considerazioni operative

Per i principi e i suggerimenti di eccellenza operativa specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: eccellenza operativa nel framework Well-Architected.

Ottimizzazione delle prestazioni

Questa sezione fornisce indicazioni per aiutarti a ottimizzare le prestazioni del tuo flusso di lavoro di AI e ML in Google Cloud. Le indicazioni riportate in questa sezione non sono esaustive. Per ulteriori informazioni sull'ottimizzazione delle prestazioni per il tuo ambiente Managed Lustre, consulta Considerazioni sulle prestazioni.

Considerazioni sull'addestramento

Per ridurre al minimo la latenza durante l'addestramento, esegui il precaricamento dei dati di addestramento da Cloud Storage e importali in Managed Lustre. Per massimizzare il throughput per il workload di addestramento, esegui il provisioning dell'istanza Managed Lustre in modo che corrisponda alle tue esigenze di throughput e capacità di archiviazione. Ad esempio, un'istanza Managed Lustre da 20 TiB può fornire un throughput aggregato compreso tra 2,5 GB/s e 20 GB/s per tutti i client, a seconda del livello di prestazioni selezionato. Se l'addestramento richiede un throughput più elevato, devi aumentare di conseguenza le dimensioni dell'istanza di Managed Lustre.

Considerazioni sul checkpointing

Per sfruttare l'elevato throughput di scrittura offerto da Managed Lustre e ridurre al minimo il tempo di addestramento, utilizza Managed Lustre sia per l'addestramento che per il checkpoint. Questo approccio consente di ottenere un utilizzo efficiente delle risorse e di ridurre il TCO per le risorse GPU, mantenendo l'addestramento e il checkpointing il più rapidi possibile. Per ottenere un checkpoint rapido, puoi eseguire il checkpointing distribuito e asincrono. Poiché Managed Lustre è permanente, puoi archiviare i checkpoint nella stessa istanza. Per un'ulteriore ottimizzazione dei costi e un'archiviazione a lungo termine, valuta la possibilità di esportare i checkpoint in un bucket Cloud Storage.

Considerazioni sull'inferenza

Per ottenere prestazioni ottimali durante la pubblicazione, devi ridurre al minimo il tempo necessario per caricare i modelli in memoria. Per ridurre al minimo i tempi di caricamento dei modelli su migliaia di VM, Managed Lustre fornisce un throughput aggregato elevato nei cluster GKE. Per monitorare le metriche chiave che ti consentono di identificare i colli di bottiglia, utilizza Cloud Monitoring e verifica di eseguire il deployment di una capacità sufficiente, poiché le prestazioni aumentano con la capacità di archiviazione.

Offload della cache KV

Per i workload di inferenza con finestre di contesto lunghe, conversazioni multi-turno o workflow agentici, le cache chiave-valore (KV) possono superare la memoria GPU disponibile. Per ridurre il tempo al primo token (TTFT) e la latenza, scarica i blocchi della cache KV su Managed Lustre per condividere il contesto tra più nodi GKE.

Posizionamento delle risorse

Per ridurre al minimo la latenza e massimizzare le prestazioni, crea l'istanza Managed Lustre in una regione geograficamente vicina ai tuoi client di computing GPU o TPU. Nell'architettura di riferimento descritta in questo documento, i container e il file system GKE sono collocati nella stessa zona.

  • Per l'addestramento e il checkpoint: per risultati ottimali, esegui il deployment dei client e delle istanze Managed Lustre nella stessa zona. Questa collocazione riduce al minimo i tempi di trasferimento dei dati e massimizza l'utilizzo del throughput di scrittura di Managed Lustre.
  • Per l'erogazione: sebbene la collocazione con i client di computing nella stessa zona sia l'ideale, può essere sufficiente avere un'istanza Managed Lustre per regione. Questo approccio evita i costi aggiuntivi del deployment di più istanze, ma comporta addebiti per il traffico di rete tra zone. Una latenza tra zone più elevata può ridurre le IOPS, diminuire il throughput dell'istanza Managed Lustre e aumentare il TCO. Tuttavia, se hai bisogno di una latenza inferiore, di una capacità aggiuntiva o di un throughput più elevato, valuta la possibilità di eseguire il deployment di più di un'istanza per regione.

Per informazioni sulle regioni e sulle zone supportate per le istanze Managed Lustre, consulta Località supportate.

Ulteriori considerazioni sulle prestazioni

Per i principi e i suggerimenti di ottimizzazione delle prestazioni specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione delle prestazioni nel Well-Architected Framework.

Deployment

Per creare e montare un'istanza Managed Lustre, ti consigliamo di utilizzare il modulo Managed Lustre disponibile in Cluster Toolkit. Cluster Toolkit è un toolkit modulare basato su Terraform progettato per il deployment di ambienti AI e ML ripetibili suGoogle Cloud. Utilizza Cluster Director, che fornisce un piano di gestione unificato per il deployment, l'osservabilità, i controlli di integrità e la correzione di calcolo e archiviazione.

Per informazioni su come eseguire manualmente il deployment di Managed Lustre su GKE, consulta Crea un'istanza Managed Lustre e Accedi alle istanze Managed Lustre esistenti su GKE utilizzando il driver CSI (Container Storage Interface) di Managed Lustre.

Per informazioni su come configurare una rete VPC per Managed Lustre, consulta Configura una rete VPC.

Passaggi successivi

Collaboratori

Autore: Samantha He | Technical Writer

Altri collaboratori: