Prospettiva di IA e ML: eccellenza operativa

Last reviewed 2026-10-29 UTC

Questo documento del Google Cloud Well-Architected Framework: prospettiva di AI e ML fornisce una panoramica dei principi e dei suggerimenti per creare e gestire sistemi di AI e ML solidi su Google Cloud. Questi suggerimenti ti aiutano a configurare elementi fondamentali come osservabilità, automazione e scalabilità. I consigli contenuti in questo documento sono in linea con il pilastro dell'eccellenza operativa del Well-Architected Framework.

L'eccellenza operativa nel dominio dell'AI e del ML è la capacità di eseguire il deployment, gestire e governare senza problemi i sistemi e le pipeline di AI e ML che contribuiscono a raggiungere gli obiettivi strategici della tua organizzazione. L'eccellenza operativa ti consente di rispondere in modo efficiente ai cambiamenti, ridurre la complessità operativa e garantire che le tue operazioni rimangano in linea con gli obiettivi commerciali.

I suggerimenti di questo documento sono mappati ai seguenti principi fondamentali:

Crea una base solida per lo sviluppo dei modelli

Per sviluppare ed eseguire il deployment di sistemi di AI scalabili e affidabili che ti aiutino a raggiungere i tuoi obiettivi commerciali, è essenziale una solida base di sviluppo dei modelli. Una base di questo tipo consente workflow coerenti, automatizza i passaggi critici per ridurre gli errori e garantisce che i modelli possano scalare in base alla domanda. Una solida base di sviluppo dei modelli garantisce che i sistemi di ML possano essere aggiornati, migliorati e addestrati nuovamente senza problemi. La base ti aiuta anche ad allineare le prestazioni dei tuoi modelli alle esigenze aziendali, a eseguire rapidamente il deployment di soluzioni AI efficaci e ad adattarti ai requisiti in continua evoluzione.

Per creare una base solida per lo sviluppo dei tuoi modelli di AI, tieni presenti i seguenti consigli.

Definisci i problemi e i risultati richiesti

Prima di iniziare un progetto di AI o ML, devi avere una chiara comprensione dei problemi aziendali da risolvere e dei risultati richiesti. Inizia con una panoramica degli scopi commerciali e suddividili in indicatori chiave di prestazione (KPI) misurabili. Per organizzare e documentare le definizioni e le ipotesi dei problemi in un ambiente di notebook Jupyter, utilizza strumenti come Gemini Enterprise Agent Platform Workbench. Per implementare il controllo delle versioni per il codice e i documenti e per documentare i progetti, gli obiettivi e le ipotesi, utilizza strumenti come Git. Per sviluppare e gestire i prompt per le applicazioni di AI generativa, puoi utilizzare Agent Studio su Gemini Enterprise Agent Platform.

Raccogli e pre-elabora i dati necessari

Per implementare la pre-elaborazione e la trasformazione dei dati, puoi utilizzare Dataflow (per Apache Beam), Managed Service for Apache Spark (per Apache Spark) o BigQuery se è appropriato un processo basato su SQL. Per convalidare gli schemi e rilevare le anomalie, utilizza TensorFlow Data Validation (TFDV) e sfrutta le scansioni automatiche della qualità dei dati in BigQuery, se applicabile.

Per l'AI generativa, la qualità dei dati include accuratezza, pertinenza, diversità e allineamento con le caratteristiche dell'output richieste. Nei casi in cui i dati reali sono insufficienti o sbilanciati, puoi generare dati sintetici per migliorare la robustezza e la generalizzazione del modello. Per creare set di dati sintetici basati su pattern esistenti o per migliorare i dati di addestramento per ottenere prestazioni migliori del modello, utilizza BigQuery DataFrames. I dati sintetici sono particolarmente preziosi per l'AI generativa perché possono contribuire a migliorare la diversità dei prompt e la robustezza complessiva del modello. Quando crei set di dati per l'ottimizzazione dei modelli di AI generativa, valuta la possibilità di utilizzare le funzionalità di generazione di dati sintetici di Gemini Enterprise Agent Platform.

Per le attività AI generative, come l'ottimizzazione o l'apprendimento per rinforzo con feedback umano (RLHF), assicurati che le etichette riflettano accuratamente la qualità, la pertinenza e la sicurezza degli output generati.

Seleziona un approccio ML appropriato

Quando progetti il modello e i parametri, considera la complessità e le esigenze di calcolo del modello. A seconda dell'attività (ad esempio classificazione, regressione o generazione), valuta la possibilità di utilizzare l'addestramento personalizzato di Agent Platform per la creazione di modelli personalizzati o AutoML per attività di ML più semplici. Per le applicazioni comuni, puoi anche accedere ai modelli preaddestrati tramite Model Garden. Puoi sperimentare con una serie di modelli di base all'avanguardia per vari casi d'uso, come la generazione di testo, immagini e codice.

Potresti voler ottimizzare un foundation model preaddestrato per ottenere prestazioni ottimali per il tuo caso d'uso specifico. Per i requisiti di prestazioni elevate nell'addestramento personalizzato, configura le risorse Cloud TPU o GPU per accelerare l'addestramento e l'inferenza dei modelli di deep learning, come i modelli linguistici di grandi dimensioni (LLM) e i modelli di diffusione.

Configura il controllo della versione per codice, modelli e dati

Per gestire ed eseguire il deployment delle versioni del codice in modo efficace, utilizza strumenti come GitHub o GitLab. Questi strumenti offrono funzionalità di collaborazione, strategie di branching e integrazione con pipeline CI/CD per garantire un processo di sviluppo semplificato.

Utilizza soluzioni appropriate per gestire ogni artefatto del tuo sistema ML, come i seguenti esempi:

  • Per gli artefatti di codice come le immagini container e i componenti della pipeline, Artifact Registry fornisce una soluzione di archiviazione scalabile che può contribuire a migliorare la sicurezza. Artifact Registry include anche il controllo delle versioni e può essere integrato con Cloud Build e Cloud Deploy.
  • Per gestire gli artefatti di dati, come i set di dati utilizzati per l'addestramento e la valutazione, utilizza soluzioni come BigQuery o Cloud Storage per l'archiviazione e il controllo delle versioni.
  • Per archiviare i metadati e i puntatori alle posizioni dei dati, utilizza il sistema di controllo della versione o un Data Catalog separato.

Per mantenere la coerenza e il controllo delle versioni dei dati delle caratteristiche, utilizza Agent Platform Feature Store. Per monitorare e gestire gli artefatti dei modelli, inclusi i file binari e i metadati, utilizza Model Registry su Gemini Enterprise Agent Platform, che ti consente di archiviare, organizzare ed eseguire il deployment delle versioni dei modelli senza problemi.

Per garantire l'affidabilità del modello, implementa Model Monitoring su Gemini Enterprise Agent Platform. Rileva la deviazione dei dati, monitora le prestazioni e identifica le anomalie in produzione. Per i sistemi di AI generativa, monitora le variazioni della qualità dell'output e della conformità alla sicurezza.

Automatizza il ciclo di vita dello sviluppo dei modelli

L'Automation ti aiuta a semplificare ogni fase del ciclo di vita di AI e ML. L'Automation riduce lo sforzo manuale e standardizza i processi, con conseguente aumento dell'efficienza operativa e riduzione del rischio di errori. I flussi di lavoro automatizzati consentono un'iterazione più rapida, un deployment coerente in tutti gli ambienti e risultati più affidabili, in modo che i tuoi sistemi possano scalare e adattarsi senza problemi.

Per automatizzare il ciclo di vita dello sviluppo dei tuoi sistemi di AI e ML, tieni presente i seguenti suggerimenti.

Utilizza un sistema di orchestrazione delle pipeline gestito

Utilizza le pipeline di Gemini Enterprise Agent Platform per automatizzare ogni fase del ciclo di vita del ML, dalla preparazione dei dati all'addestramento, alla valutazione e al deployment del modello. Per accelerare il deployment e promuovere la coerenza tra i progetti, automatizza le attività ricorrenti con le esecuzioni delle pipeline pianificate, monitora i workflow con le metriche di esecuzione e sviluppa modelli di pipeline riutilizzabili per i workflow standardizzati. Queste funzionalità si estendono ai modelli di AI generativa, che spesso richiedono passaggi specializzati come il prompt engineering, il filtro delle risposte e la valutazione human-in-the-loop. Per l'AI generativa, le pipeline di Agent Platform possono automatizzare questi passaggi, inclusa la valutazione degli output generati rispetto alle metriche di qualità e alle linee guida sulla sicurezza. Per migliorare la diversità dei prompt e la robustezza del modello, i workflow automatizzati possono includere anche tecniche di miglioramento dei dati.

Implementa le pipeline CI/CD

Per automatizzare la creazione, il test e il deployment dei modelli ML, utilizza Cloud Build. Questo servizio è particolarmente efficace quando esegui suite di test per il codice dell'applicazione, in modo da garantire che l'infrastruttura, le dipendenze e il pacchetto del modello soddisfino i requisiti di deployment.

I sistemi di ML spesso richiedono passaggi aggiuntivi oltre ai test del codice. Ad esempio, devi sottoporre i modelli a stress test con carichi variabili, eseguire valutazioni collettive per valutare le prestazioni dei modelli su diversi set di dati e convalidare l'integrità dei dati prima di riaddestrarli. Per simulare workload realistici per gli stress test, puoi utilizzare strumenti come Locust, Grafana k6 o Apache JMeter. Per identificare i colli di bottiglia, monitora le metriche chiave come latenza, tasso di errore e utilizzo delle risorse tramite Cloud Monitoring. Per l'AI generativa, i test devono includere anche valutazioni specifiche per il tipo di contenuti generati, come la qualità del testo, la fedeltà delle immagini o la funzionalità del codice. Queste valutazioni possono coinvolgere metriche automatizzate come la perplessità per i modelli linguistici o la valutazione human-in-the-loop per aspetti più sfumati come la creatività e la sicurezza.

Per implementare le attività di test e valutazione, puoi integrare Cloud Build con altri servizi Google Cloud . Ad esempio, puoi utilizzare le pipeline di Agent Platform per la valutazione automatizzata dei modelli, BigQuery per l'analisi dei dati su larga scala e la convalida delle pipeline di Dataflow per la convalida delle caratteristiche.

Puoi migliorare ulteriormente la tua pipeline CI/CD utilizzando Agent Platform per l'addestramento continuo per abilitare l'addestramento automatico dei modelli su nuovi dati. In particolare per l'AI generativa, per mantenere gli output generati pertinenti e diversificati, il riaddestramento potrebbe comportare l'aggiornamento automatico dei modelli con nuovi dati di addestramento o prompt. Puoi utilizzare Agent Platform Model Garden per selezionare i modelli di base più recenti disponibili per l'ottimizzazione. Questa pratica garantisce che i modelli rimangano aggiornati e ottimizzati per le tue esigenze aziendali in continua evoluzione.

Implementa release dei modelli sicure e controllate

Per ridurre al minimo i rischi e garantire deployment affidabili, implementa un approccio di rilascio dei modelli che ti consenta di rilevare tempestivamente i problemi, convalidare le prestazioni ed eseguire rapidamente il rollback quando necessario.

Per pacchettizzare i modelli e le applicazioni ML in immagini container ed eseguirne il deployment, utilizza Cloud Deploy. Puoi eseguire il deployment dei tuoi modelli negli endpoint di Agent Platform.

Implementa release controllate per le tue applicazioni e i tuoi sistemi di AI utilizzando strategie come le versioni canary. Per le applicazioni che utilizzano modelli gestiti come Gemini, ti consigliamo di rilasciare gradualmente le nuove versioni dell'applicazione a un sottoinsieme di utenti prima del deployment completo. Questo approccio ti consente di rilevare tempestivamente potenziali problemi, soprattutto quando utilizzi modelli di AI generativa in cui gli output possono variare.

Per rilasciare i modelli ottimizzati, puoi utilizzare Cloud Deploy per gestire il deployment delle versioni del modello e la strategia di versione canary per ridurre al minimo i rischi. Con i modelli gestiti e i modelli ottimizzati, l'obiettivo delle release controllate è testare le modifiche con un pubblico limitato prima di rilasciare le applicazioni e i modelli a tutti gli utenti.

Per una convalida efficace, utilizza Esperimenti su Gemini Enterprise Agent Platform per confrontare i nuovi modelli con quelli esistenti e utilizza Valutazione dei modelli di Agent Platform per valutare le prestazioni dei modelli. In particolare per l'AI generativa, definisci metriche di valutazione in linea con il caso d'uso previsto e i potenziali rischi. Puoi utilizzare il servizio di valutazione dell'AI generativa in Agent Platform per valutare metriche come tossicità, coerenza, accuratezza oggettiva e rispetto delle linee guida sulla sicurezza.

Per garantire l'affidabilità del deployment, è necessario un piano di rollback efficace. Per i sistemi ML tradizionali, utilizza Model Monitoring su Agent Platform per rilevare la deviazione dei dati e il peggioramento delle prestazioni. Per i modelli di AI generativa, puoi monitorare le metriche pertinenti e configurare avvisi per le variazioni della qualità dell'output o l'emergere di contenuti dannosi utilizzando la valutazione dei modelli di Agent Platform insieme a Cloud Logging e Monitoring. Configura avvisi in base alle metriche specifiche dell'AI generativa per attivare le procedure di rollback quando necessario. Per monitorare la derivazione del modello e ripristinare la versione stabile più recente, utilizza gli insight di Model Registry.

Implementa l'osservabilità

Il comportamento dei sistemi di AI e ML può cambiare nel tempo a causa di modifiche ai dati o all'ambiente e di aggiornamenti ai modelli. Questa natura dinamica rende l'osservabilità fondamentale per rilevare problemi di prestazioni, bias o comportamenti imprevisti. Ciò è particolarmente vero per i modelli di AI generativa, perché gli output possono essere molto variabili e soggettivi. L'osservabilità ti consente di affrontare in modo proattivo i comportamenti imprevisti e di garantire che i tuoi sistemi di AI e ML rimangano affidabili, accurati e imparziali.

Per implementare l'osservabilità per i tuoi sistemi AI e ML, tieni conto dei seguenti suggerimenti.

Monitora costantemente il rendimento

Utilizza metriche e criteri di successo per la valutazione continua dei modelli dopo il deployment.

Puoi utilizzare Model Monitoring su Agent Platform per monitorare in modo proattivo le prestazioni del modello, identificare il disallineamento addestramento/erogazione e la deviazione della previsione e ricevere avvisi per attivare il riaddestramento del modello o altri interventi necessari. Per monitorare in modo efficace il disallineamento addestramento/erogazione, crea un golden dataset che rappresenti la distribuzione ideale dei dati e utilizza TFDV per analizzare i dati di addestramento e stabilire uno schema di riferimento.

Configura il monitoraggio del modello su Agent Platform per confrontare la distribuzione dei dati di input con il set di dati golden per il rilevamento automatico dello skew. Per i modelli di ML tradizionali, concentrati su metriche come accuratezza, precisione, richiamo, punteggio F1, AUC-ROC e perdita logaritmica. Definisci soglie personalizzate per gli avvisi in Model Monitoring su Agent Platform. Per l'AI generativa, utilizza il servizio di valutazione dell'AI generativa per monitorare continuamente l'output del modello in produzione. Puoi anche attivare le metriche di valutazione automatica per la qualità delle risposte, la sicurezza, l'aderenza alle istruzioni, il grounding, lo stile di scrittura e il livello di dettaglio. Per valutare la qualità, la pertinenza, la sicurezza e la conformità alle linee guida degli output generati, puoi incorporare la valutazione human-in-the-loop.

Crea loop di feedback per riaddestrare automaticamente i modelli con le pipeline di Agent Platform quando Model Monitoring su Agent Platform attiva un avviso. Utilizza questi insight per migliorare continuamente i tuoi modelli.

Valuta i modelli durante lo sviluppo

Prima di eseguire il deployment degli LLM e di altri modelli di AI generativa, valutali attentamente durante la fase di sviluppo. Utilizza la valutazione dei modelli di Agent Platform per ottenere prestazioni ottimali e mitigare i rischi. Utilizza la valutazione rapida della piattaforma agenti per consentire a Google Cloud di eseguire automaticamente le valutazioni in base al set di dati e ai prompt che fornisci.

Puoi anche definire e integrare metriche personalizzate specifiche per il tuo caso d'uso. Per ricevere feedback sui contenuti generati, integra i flussi di lavoro human-in-the-loop utilizzando la valutazione del modello di Agent Platform.

Utilizza i test di adversarial per identificare le vulnerabilità e le potenziali modalità di errore. Per identificare e mitigare i potenziali bias, utilizza tecniche come l'analisi dei sottogruppi e la generazione controfattuale. Utilizza gli insight raccolti dalle valutazioni completate durante la fase di sviluppo per definire la strategia di monitoraggio del modello in produzione. Prepara la soluzione per il monitoraggio continuo come descritto nella sezione Monitora le prestazioni in modo continuo di questo documento.

Monitora la disponibilità

Per ottenere visibilità sull'integrità e sulle prestazioni degli endpoint e dell'infrastruttura di cui hai eseguito il deployment, utilizza Monitoring. Per gli endpoint di Agent Platform, monitora metriche chiave come tasso di richieste, tasso di errore, latenza e utilizzo delle risorse e configura avvisi per le anomalie. Per saperne di più, consulta Metriche di Monitoring per la piattaforma dell'agente.

Monitora l'integrità dell'infrastruttura sottostante, che può includere istanze di Compute Engine, cluster Google Kubernetes Engine (GKE), Cloud TPU e GPU. Ricevi suggerimenti di ottimizzazione automatici da Active Assist. Se utilizzi la scalabilità automatica, monitora il comportamento di scalabilità per assicurarti che risponda in modo appropriato alle variazioni dei pattern di traffico.

Monitora lo stato dei deployment dei modelli, incluse le versioni canary e i rollback, integrando Cloud Deploy con Monitoring. Inoltre, monitora le potenziali minacce e vulnerabilità alla sicurezza utilizzando Security Command Center.

Configura avvisi personalizzati per soglie specifiche dell'attività

Per identificare e correggere tempestivamente anomalie e problemi, configura avvisi personalizzati in base a soglie specifiche per i tuoi scopi commerciali. Ecco alcuni esempi di prodotti Google Cloud che puoi utilizzare per implementare un sistema di avvisi personalizzato:

  • Logging: raccogli, archivia e analizza i log di tutti i componenti del tuo sistema di AI e ML.
  • Monitoring: crea dashboard personalizzate per visualizzare metriche e tendenze chiave e definisci metriche personalizzate in base alle tue esigenze. Configura gli avvisi per ricevere notifiche sui problemi critici e integrali con i tuoi strumenti di gestione degli incidenti, come PagerDuty o Slack.
  • Error Reporting: acquisisci e analizza automaticamente errori ed eccezioni.
  • Cloud Trace: analizza le prestazioni dei sistemi distribuiti e identifica i colli di bottiglia. Il tracciamento è particolarmente utile per comprendere la latenza tra i diversi componenti della pipeline AI e ML.
  • Cloud Profiler: analizza continuamente le prestazioni del codice in produzione e identifica i colli di bottiglia delle prestazioni nell'utilizzo della CPU o della memoria utilizzata.

Crea una cultura di eccellenza operativa

Shift l'attenzione dalla semplice creazione di modelli alla creazione di soluzioni di AI sostenibili, affidabili e di impatto. Consenti ai team di apprendere, innovare e migliorare continuamente, il che porta a cicli di sviluppo più rapidi, riduzione degli errori e maggiore efficienza. Dando priorità all'automazione, alla standardizzazione e alle considerazioni etiche, puoi assicurarti che le tue iniziative di AI e ML offrano costantemente valore, riducano i rischi e promuovano lo sviluppo AI responsabile.

Per creare una cultura di eccellenza operativa per i tuoi sistemi di AI e ML, tieni presente i seguenti consigli.

Promuovi l'automazione e la standardizzazione

Per enfatizzare l'efficienza e la coerenza, incorpora l'automazione e le pratiche standardizzate in ogni fase del ciclo di vita di AI e ML. L'Automation riduce gli errori manuali e consente ai team di concentrarsi sull'innovazione. La standardizzazione garantisce che i processi siano ripetibili e scalabili tra team e progetti.

Dai priorità all'apprendimento e al miglioramento continui

Promuovi un ambiente in cui l'istruzione e la sperimentazione continua siano principi fondamentali. Incoraggia i team a rimanere aggiornati sui progressi dell'AI e del ML e offri opportunità di apprendimento dai progetti passati. Una cultura di curiosità e adattamento promuove l'innovazione e garantisce che i team siano in grado di affrontare nuove sfide.

Coltiva la responsabilità e la proprietà

Crea fiducia e allineamento con ruoli, responsabilità e metriche di successo chiaramente definiti. Consenti ai team di prendere decisioni informate entro questi limiti e stabilisci modi trasparenti per misurare i progressi. Un senso di ownership motiva i team e garantisce la responsabilità collettiva dei risultati.

Integrare considerazioni etiche e di sicurezza sull'AI

Dai la priorità alle considerazioni etiche in ogni fase dello sviluppo. Incoraggia i team a pensare in modo critico all'impatto delle loro soluzioni di AI e promuovi discussioni su equità, bias e impatto sulla società. Principi chiari e meccanismi di responsabilità garantiscono che i tuoi sistemi di AI siano in linea con i valori dell'organizzazione e promuovano la fiducia.

Progetta per la scalabilità

Per far fronte ai volumi di dati e alle richieste degli utenti in crescita e per massimizzare il valore degli investimenti nell'AI, i tuoi sistemi di AI e ML devono essere scalabili. I sistemi devono adattarsi e funzionare in modo ottimale per evitare colli di bottiglia che ostacolano l'efficacia. Quando progetti per la scalabilità, ti assicuri che l'infrastruttura di AI possa gestire la crescita e mantenere la reattività. Utilizza un'infrastruttura scalabile, pianifica la capacità e adotta strategie come lo scale out e i servizi gestiti.

Per progettare i tuoi sistemi di AI e ML in modo che siano scalabili, tieni presente i seguenti suggerimenti.

Pianifica la capacità e le quote

Valuta la crescita futura e pianifica la capacità dell'infrastruttura e le quote delle risorse di conseguenza. Collabora con gli stakeholder aziendali per comprendere la crescita prevista e definisci i requisiti dell'infrastruttura di conseguenza.

Utilizza Monitoring per analizzare l'utilizzo storico delle risorse, identificare le tendenze e prevedere le esigenze future. Esegui test di carico regolari per simulare i workload e identificare i colli di bottiglia.

Acquisisci familiarità con le quote diGoogle Cloud per i servizi che utilizzi, come Compute Engine, Agent Platform e Cloud Storage. Richiedi in modo proattivo aumenti della quota tramite la console Google Cloud e giustifica gli aumenti con i dati dei test di previsione e di carico. Monitora l'utilizzo della quota e configura avvisi per ricevere notifiche quando l'utilizzo si avvicina ai limiti della quota.

Per ottimizzare l'utilizzo delle risorse in base alla domanda, dimensiona correttamente le risorse, utilizza le VM spot per i workload batch a tolleranza di errore e implementa la scalabilità automatica.

Preparati agli eventi di picco

Assicurati che il tuo sistema sia in grado di gestire picchi improvvisi di traffico o workload durante gli eventi di picco. Documenta la tua strategia per gli eventi di picco ed esegui esercitazioni regolari per testare la capacità del tuo sistema di gestire un carico maggiore.

Per fare lo scale up aggressivo delle risorse quando la domanda aumenta, configura le policy di scalabilità automatica in Compute Engine e GKE. Per pattern di picco prevedibili, valuta l'utilizzo della scalabilità automatica predittiva. Per attivare la scalabilità automatica in base a indicatori specifici dell'applicazione, utilizza le metriche personalizzate in Monitoring.

Distribuisci il traffico su più istanze di applicazioni utilizzando Cloud Load Balancing. Scegli un tipo di bilanciatore del carico appropriato in base alle esigenze della tua applicazione. Per gli utenti distribuiti geograficamente, puoi utilizzare il bilanciamento del carico globale per instradare il traffico all'istanza disponibile più vicina. Per architetture complesse basate su microservizi, valuta la possibilità di utilizzare Cloud Service Mesh.

Memorizza nella cache i contenuti statici sul perimetro della rete di Google utilizzando Cloud CDN.

Per memorizzare nella cache i dati ad accesso frequente, utilizza uno dei seguenti servizi di datastore in memoria completamente gestiti:

Disaccoppia i componenti del tuo sistema utilizzando Pub/Sub per la messaggistica in tempo reale e Cloud Tasks per l'esecuzione di attività asincrone.

Scala le applicazioni per la produzione

Per garantire un'erogazione scalabile in produzione, puoi utilizzare servizi gestiti come l'addestramento distribuito di Agent Platform e l'inferenza di Gemini Enterprise Agent Platform. Agent Platform Inference ti consente di configurare i tipi di macchine per i nodi di previsione quando esegui il deployment di un modello in un endpoint o richiedi previsioni in batch. Per alcune configurazioni, puoi aggiungere GPU. Scegli il tipo di macchina e gli acceleratori appropriati per ottimizzare latenza, throughput e costi.

Per scalare applicazioni AI e Python complesse e workload personalizzati su risorse di computing distribuite, puoi utilizzare Ray su Gemini Enterprise Agent Platform. Questa funzionalità può contribuire a ottimizzare le prestazioni e consente una perfetta integrazione con i serviziGoogle Cloud . Ray su Gemini Enterprise Agent Platform semplifica il computing distribuito gestendo la gestione dei cluster, la pianificazione delle attività e il trasferimento dei dati. Si integra con altri servizi di Agent Platform, come l'addestramento, la previsione e le pipeline. Ray offre tolleranza di errore e scalabilità automatica e ti aiuta ad adattare l'infrastruttura ai workload in evoluzione. Offre un framework unificato per l'addestramento distribuito, l'ottimizzazione degli iperparametri, l'apprendimento per rinforzo e l'erogazione del modello. Utilizza Ray per la pre-elaborazione dei dati distribuiti con Dataflow o Managed Service for Apache Spark, l'addestramento accelerato dei modelli, l'ottimizzazione scalabile degli iperparametri, l'apprendimento per rinforzo e la previsione in batch parallelizzata.

Collaboratori

Autori:

Altri collaboratori:

Indietro
Panoramica
Avanti
Sicurezza