Ottimizzare i workload AI e ML per l'efficienza energetica

Last reviewed 2026-10-28 UTC

Questo principio del pilastro della sostenibilità del Google Cloud Well-Architected Framework fornisce consigli per ottimizzare i workload di AI e ML al fine di ridurre il consumo di energia e l'impronta di carbonio.

Panoramica del principio

Per ottimizzare i workload di AI e ML in termini di sostenibilità, devi adottare un approccio olistico alla progettazione, al deployment e al funzionamento dei workload. Seleziona modelli appropriati e hardware specializzato come le Tensor Processing Unit (TPU), esegui i workload in regioni a bassa emissione di CO2, ottimizza per ridurre l'utilizzo delle risorse e applica le best practice operative.

Le pratiche architettoniche e operative che ottimizzano i costi e le prestazioni dei workload di AI e ML portano intrinsecamente a una riduzione del consumo energetico e dell'impronta di carbonio. La prospettiva di AI e ML nel Well-Architected Framework descrive i principi e i suggerimenti per progettare, creare e gestire workload di AI e ML che soddisfino i tuoi obiettivi operativi, di sicurezza, affidabilità, costi e prestazioni. Inoltre, il Cloud Architecture Center fornisce architetture di riferimento dettagliate e guide alla progettazione per i workload di AI e ML in Google Cloud.

Consigli

Per ottimizzare i workload di AI e ML per l'efficienza energetica, prendi in considerazione i suggerimenti riportati nelle sezioni seguenti.

Progetta l'architettura a risparmio energetico utilizzando le TPU

I workload di AI e ML possono richiedere un'elevata potenza di calcolo. Il consumo energetico dei workload di AI e ML è un aspetto fondamentale per la sostenibilità. Le TPU ti consentono di migliorare in modo significativo l'efficienza energetica e la sostenibilità dei tuoi workload di AI e ML.

Le TPU sono acceleratori progettati su misura e appositamente per i workload di AI e ML. L'architettura specializzata delle TPU le rende altamente efficaci per la moltiplicazione di matrici su larga scala, che è alla base del deep learning. Le TPU possono eseguire attività complesse su larga scala con maggiore efficienza rispetto ai processori per uso generico come CPU o GPU.

Le TPU offrono i seguenti vantaggi diretti per la sostenibilità:

  • Minore consumo energetico: le TPU sono progettate per un'efficienza energetica ottimale. Offrono un numero maggiore di calcoli per watt di energia consumata. La loro architettura specializzata riduce in modo significativo il fabbisogno energetico delle attività di addestramento e inferenza su larga scala, con una conseguente riduzione dei costi operativi e del consumo energetico.
  • Addestramento e inferenza più rapidi: le prestazioni eccezionali delle TPU ti consentono di addestrare modelli di AI complessi in ore anziché in giorni. Questa significativa riduzione del tempo di calcolo totale contribuisce direttamente a un'impronta ambientale ridotta.
  • Riduzione delle esigenze di raffreddamento: le TPU incorporano un raffreddamento a liquido avanzato, che fornisce una gestione termica efficiente e riduce significativamente l'energia utilizzata per raffreddare il data center.
  • Ottimizzazione del ciclo di vita dell'AI: integrando hardware e software, le TPU forniscono una soluzione ottimizzata per l'intero ciclo di vita dell'AI, dal trattamento dati all'erogazione del modello.

Segui le best practice delle 4M per la selezione delle risorse

Google consiglia una serie di best practice per ridurre in modo significativo il consumo di energia e le emissioni di anidride carbonica per i workload di AI e ML. Chiamiamo queste best practice 4M:

  • Modello: per casi d'uso specializzati, scegli modelli creati appositamente che utilizzano meno risorse di computing rispetto ai modelli di grandi dimensioni per uso generico.
  • Macchina: scegli processori e sistemi ottimizzati per l'addestramento ML. Questi processori migliorano le prestazioni e l'efficienza energetica di 2-5 volte rispetto ai processori per uso generico.
  • Meccanizzazione: esegui il deployment dei workload ad alta intensità di calcolo nel cloud. I tuoi workload utilizzano meno energia e causano emissioni inferiori di 1,4-2 volte rispetto ai deployment on-premise. I data center cloud utilizzano magazzini più recenti, progettati su misura e realizzati a risparmio energetico, con un elevato rapporto di Power Usage Effectiveness (PUE). I data center on-premise sono spesso più datati e più piccoli, perciò gli investimenti in sistemi di raffreddamento e distribuzione elettrica a risparmio energetico potrebbero non essere convenienti.
  • Mappa: seleziona Google Cloud le località che utilizzano l'energia più pulita. Questo approccio contribuisce a ridurre l'impronta di carbonio lorda dei tuoi workload di 5-10 volte. Per saperne di più, consulta Energia a zero emissioni di CO2 per le regioni Google Cloud .

Per ulteriori informazioni sulle best practice e sulle metriche di efficienza delle 4M, consulta i seguenti documenti di ricerca:

Ottimizza i modelli e gli algoritmi di AI per l'addestramento e l'inferenza

L'architettura di un modello di AI e gli algoritmi utilizzati per l'addestramento e l'inferenza hanno un impatto significativo sul consumo energetico. Prendi in considerazione i seguenti suggerimenti.

Seleziona modelli di AI efficienti

Scegli modelli di AI più piccoli ed efficienti che soddisfino i tuoi requisiti di prestazioni. Non selezionare il modello più grande disponibile come scelta predefinita. Ad esempio, una versione più piccola e distillata del modello, come DistilBERT, può offrire prestazioni simili con un overhead di calcolo significativamente inferiore e un'inferenza più rapida rispetto a un modello più grande come BERT.

Utilizza soluzioni iper-efficienti specifiche per il dominio

Scegli soluzioni di ML specializzate che offrono prestazioni migliori e richiedono una potenza di calcolo significativamente inferiore rispetto a un foundation model di grandi dimensioni. Queste soluzioni specializzate sono spesso preaddestrate e iperottimizzate. Possono fornire riduzioni significative del consumo energetico e dell'impegno di ricerca per i workload di addestramento e inferenza. Di seguito sono riportati alcuni esempi di soluzioni specializzate specifiche per dominio:

  • Earth AI è una soluzione a risparmio energetico che sintetizza grandi quantità di dati geospaziali globali per fornire insight operativi tempestivi, accurati e utili.
  • WeatherNext produce previsioni meteorologiche globali più rapide, efficienti e ad alta precisione rispetto ai metodi convenzionali basati sulla fisica.

Applica tecniche di compressione dei modelli appropriate

Di seguito sono riportati alcuni esempi di tecniche che puoi utilizzare per la compressione del modello:

  • Pruning: rimuovi i parametri non necessari da una rete neurale. Si tratta di parametri che non contribuiscono in modo significativo alle prestazioni di un modello. Questa tecnica riduce le dimensioni del modello e le risorse di calcolo necessarie per l'inferenza.
  • Quantizzazione: riduci la precisione dei parametri del modello. Ad esempio, riduci la precisione da rappresentazione in virgola mobile a 32 bit a numeri interi a 8 bit. Questa tecnica può contribuire a ridurre in modo significativo il footprint della memoria e il consumo energetico senza una riduzione evidente dell'accuratezza.
  • Distillazione della conoscenza: addestra un modello studente più piccolo per imitare il comportamento di un modello insegnante più grande e complesso. Il modello studente può raggiungere un livello elevato di prestazioni con meno parametri e utilizzando meno energia.

Utilizza hardware specializzato

Come indicato in Segui le best practice delle 4M per la selezione delle risorse, scegli processori e sistemi ottimizzati per l'addestramento ML. Questi processori migliorano le prestazioni e l'efficienza a risparmio energetico di 2-5 volte rispetto ai processori per uso generico.

Utilizza l'ottimizzazione efficiente dei parametri (PEFT)

Anziché regolare tutti i miliardi di parametri di un modello (fine-tuning completo), utilizza metodi di parameter-efficient fine-tuning (PEFT) come l'adattamento a basso rango (LoRA). Con questa tecnica, blocchi i pesi del modello originale e addestri solo un numero ridotto di nuovi strati leggeri. Questo approccio aiuta a ridurre i costi e il consumo energetico.

Segui le best practice per le operazioni di AI e ML

Le pratiche operative influiscono in modo significativo sulla sostenibilità dei tuoi workload di AI e ML. Prendi in considerazione i seguenti consigli.

Ottimizza i processi di addestramento dei modelli

Utilizza le seguenti tecniche per ottimizzare i processi di addestramento del modello:

  • Interruzione anticipata: monitora il processo di addestramento e interrompilo quando non osservi ulteriori miglioramenti nelle prestazioni del modello rispetto al set di validazione. Questa tecnica ti aiuta a evitare calcoli e consumi energetici non necessari.
  • Caricamento efficiente dei dati: utilizza pipeline di dati efficienti per garantire che le GPU e le TPU siano sempre utilizzate e non attendano i dati. Questa tecnica contribuisce a massimizzare l'utilizzo delle risorse e a ridurre lo spreco di energia.
  • Ottimizzazione degli iperparametri ottimizzata: per trovare gli iperparametri ottimali in modo più efficiente, utilizza tecniche come l'ottimizzazione bayesiana o l'apprendimento per rinforzo. Evita ricerche a griglia esaustive, che possono essere operazioni ad alta intensità di risorse.

Migliora l'efficienza dell'inferenza

Per migliorare l'efficienza delle attività di inferenza AI, utilizza le seguenti tecniche:

  • Batching: raggruppa più richieste di inferenza in batch e sfrutta l'elaborazione parallela su GPU e TPU. Questa tecnica consente di ridurre il costo energetico per previsione.
  • Memorizzazione nella cache avanzata: implementa una strategia di memorizzazione nella cache multilivello, che include la memorizzazione nella cache di coppie chiave-valore (KV) per la generazione autoregressiva e la memorizzazione nella cache dei prompt semantici per le risposte delle applicazioni. Questa tecnica aiuta a evitare calcoli ridondanti del modello e può portare a riduzioni significative del consumo di energia e delle emissioni di anidride carbonica.

Misura e monitora

Monitora e misura i seguenti parametri:

  • Utilizzo e costi: utilizza gli strumenti appropriati per monitorare l'utilizzo dei token, il consumo energetico e l'impronta di carbonio dei tuoi workload di AI. Questi dati ti aiutano a identificare le opportunità di ottimizzazione e a segnalare i progressi verso gli obiettivi di sostenibilità.
  • Prestazioni: monitora continuamente le prestazioni del modello in produzione. Identifica problemi come la deviazione dei dati, che può indicare che il modello deve essere ottimizzato di nuovo. Se devi riaddestrare il modello, puoi utilizzare il modello ottimizzato originale come punto di partenza e risparmiare tempo, denaro ed energia significativi sugli aggiornamenti.

Per saperne di più sull'operatività del miglioramento continuo, consulta Misura e migliora continuamente la sostenibilità.

Implementa la pianificazione carbon-aware

Progetta i job della pipeline ML in modo che vengano eseguiti nelle regioni con il mix di energia più pulito. Utilizza il report Carbon Footprint per identificare le regioni con la minore intensità di carbonio. Pianifica le attività ad alta intensità di risorse come job batch durante i periodi in cui la rete elettrica locale ha una percentuale più elevata di energia senza emissioni di CO2 (CFE).

Ottimizza le pipeline di dati

Le operazioni di ML e l'ottimizzazione richiedono un set di dati pulito e di alta qualità. Prima di avviare i job ML, utilizza i servizi di trattamento dati gestiti per preparare i dati in modo efficiente. Ad esempio, utilizza Dataflow per l'elaborazione batch e in flussi e Managed Service for Apache Spark per le pipeline Spark e Hadoop gestite. Una pipeline di dati ottimizzata contribuisce a garantire che il workload di ottimizzazione non attenda i dati, in modo da massimizzare l'utilizzo delle risorse e contribuire a ridurre lo spreco di energia.

Adotta MLOps

Per automatizzare e gestire l'intero ciclo di vita del ML, implementa le pratiche di ML Operations (MLOps). Queste pratiche contribuiscono a garantire che i modelli vengano monitorati, convalidati e sottoposti a nuovo deployment in modo continuo ed efficiente, il che aiuta a evitare addestramenti o allocazioni di risorse non necessari.

Utilizza i servizi gestiti

Anziché gestire la tua infrastruttura, utilizza servizi cloud gestiti come Gemini Enterprise Agent Platform. La piattaforma cloud gestisce la gestione delle risorse sottostanti, consentendoti di concentrarti sul processo di ottimizzazione. Utilizza servizi che includono strumenti integrati per l'ottimizzazione degli iperparametri, il monitoraggio dei modelli e la gestione delle risorse.

Passaggi successivi

Indietro
Utilizzare regioni a basse emissioni di carbonio
Avanti
Ottimizzare l'utilizzo delle risorse