Google Cloud si concentra sulla fornitura di un'infrastruttura di intelligenza artificiale (AI) di livello mondiale per supportare i carichi di lavoro con accelerazione GPU più esigenti in un'ampia gamma di segmenti. Puoi utilizzare le GPU su Google Cloud per eseguire applicazioni di AI, machine learning (ML), scientifiche, di analisi, ingegneristiche, consumer e aziendali.
Grazie alla nostra partnership con NVIDIA, Google Cloud offre le GPU più recenti ottimizzando lo stack software con un'ampia gamma di opzioni di archiviazione e networking. Per un elenco completo delle GPU disponibili, consulta Piattaforme GPU.
Le sezioni seguenti descrivono i vantaggi delle GPU su Google Cloud.
VM accelerate da GPU
Su Google Cloud, puoi accedere alle GPU e eseguirne il provisioning nel modo più adatto alle tue esigenze. È disponibile una famiglia di macchine ottimizzate per l'acceleratore specializzata, con GPU e funzionalità di networking pre-collegate ideali per massimizzare le prestazioni. Sono disponibili nelle serie di macchine A4X, A4, A3, A2 e G2.
Più opzioni di provisioning
Puoi eseguire il provisioning dei cluster utilizzando la famiglia di macchine ottimizzate per l'acceleratore con uno dei seguenti prodotti open source o Google Cloud .
Vertex AI
Vertex AI è una piattaforma di machine learning (ML) completamente gestita che puoi utilizzare per addestrare ed eseguire il deployment di modelli ML e applicazioni AI. Nelle applicazioni Vertex AI, puoi utilizzare le VM con accelerazione GPU per migliorare le prestazioni nei seguenti modi:
- Utilizza VM abilitate per la GPU nei pool di worker GKE per l'addestramento personalizzato.
- Utilizza i modelli LLM open source di Vertex AI Model Garden.
- Ridurre la latenza della previsione.
- Migliora le prestazioni del codice del notebook Vertex AI Workbench.
- Migliora le prestazioni di un runtime Colab Enterprise.
AI Hypercomputer
AI Hypercomputer è un sistema di supercomputing ottimizzato per supportare i workload di intelligenza artificiale (AI) e machine learning (ML). Si tratta di un sistema integrato di hardware ottimizzato per le prestazioni, software open source, framework ML e modelli di consumo flessibili. Funzionalità e servizi AI Hypercomputer progettati per consentirti di eseguire il deployment e la gestione di un numero elevato, fino a decine di migliaia, di risorse di accelerazione e networking che funzionano come una singola unità omogenea. Questa opzione è ideale per creare un'infrastruttura densamente allocata e ottimizzata per le prestazioni che dispone di integrazioni per Google Kubernetes Engine (GKE) e gli scheduler Slurm. Per saperne di più, consulta la panoramica di AI Hypercomputer.
Per iniziare a utilizzare Cluster Director, vedi Scegliere una strategia di deployment.
Compute Engine
Puoi anche creare e gestire singole VM o piccoli cluster di VM con GPU collegate su Compute Engine. Questo metodo viene utilizzato principalmente per l'esecuzione di carichi di lavoro a uso intensivo di grafica, carichi di lavoro di simulazione o addestramento di modelli ML su piccola scala.
La tabella seguente mostra i metodi che puoi utilizzare per creare VM con GPU collegate:
Opzione di deployment |
Guide al deployment |
Crea una VM per i workload di serving e a nodo singolo |
|
Crea gruppi di istanze gestite (MIG) |
|
Crea VM collettivamente |
|
Crea una singola VM |
|
Crea workstation virtuali |
Cloud Run
Puoi configurare le GPU per le tue istanze Cloud Run. Le GPU sono ideali per l'esecuzione di carichi di lavoro di inferenza AI utilizzando modelli linguistici di grandi dimensioni su Cloud Run.
Su Cloud Run, consulta queste risorse per l'esecuzione di carichi di lavoro di AI sulle GPU:
- Configura le GPU per un servizio Cloud Run
- Carica modelli ML di grandi dimensioni su Cloud Run con GPU
- Tutorial: esegui l'inferenza LLM sulle GPU Cloud Run con Ollama