Vertex AI su appliance Google Distributed Cloud (GDC) con air gap ti consente di eseguire workload di machine learning (ML) e intelligenza artificiale (AI) su un dispositivo portatile sicuro. L'appliance fornisce l'accesso a un insieme selezionato di API preaddestrate, in modo da poter integrare il riconoscimento vocale, la traduzione e il riconoscimento del testo nella tua soluzione cloud privata.
Funzionalità principali
Vertex AI sull'appliance GDC con air gap offre le seguenti funzionalità:
- Deployment con air gap: esegui i servizi Vertex AI interamente all'interno del tuo dispositivo portatile, garantendo la sovranità dei dati e la conformità.
- Esperienza Vertex AI familiare: sfrutta gli stessi strumenti e le stesse API di Google Cloud, semplificando lo sviluppo e la gestione.
- Modelli e algoritmi predefiniti: accedi a una gamma di modelli preaddestrati per attività di machine learning comuni, accelerando il time to value.
Servizi disponibili
Vertex AI sull'appliance GDC con air gap offre i seguenti servizi preaddestrati:
- Riconoscimento ottico dei caratteri (OCR): estrai il testo da immagini e file.
- Speech-to-Text: conversione del linguaggio parlato in testo scritto.
- Vertex AI Translation: traduci testi da una lingua all'altra.
Pianificazione della capacità e requisiti di computing
Ogni servizio Vertex AI richiede risorse di computing diverse. La tabella seguente fornisce i requisiti per ogni modello preaddestrato:
| API preaddestrata | Risorse di computing | Requisiti per il numero di GPU | Requisiti di memoria della GPU |
|---|---|---|---|
| Riconoscimento ottico dei caratteri (OCR) | GPU | Una singola GPU A100 da 80 GB | 40 GB |
| Speech-to-Text | CPU | Non applicabile (solo CPU) | Non applicabile (solo CPU) |
| Vertex AI Translation | GPU | Una singola GPU A100 da 80 GB | 50 GB |
L'appliance GDC con air gap include una singola GPU NVIDIA A100 da 80 GB. In questo modo, il dispositivo può eseguire solo un' API Vertex AI preaddestrata dipendente dalla GPU alla volta. Se provi ad attivare sia Vertex AI Translation che OCR, l'attivazione della seconda API non andrà a buon fine e verrà visualizzato un messaggio di errore che indica risorse GPU insufficienti. Tuttavia, puoi eseguire Speech-to-Text insieme a Vertex AI Translation o OCR, poiché Speech-to-Text richiede solo risorse della CPU.
Per determinare il numero di unità di appliance necessarie per i tuoi workload di AI/ML, esamina i seguenti limiti di capacità per ogni API preaddestrata di Vertex AI:
| API preaddestrata | Capacità per unità appliance |
|---|---|
| Riconoscimento ottico dei caratteri (OCR) | Fino a 30 immagini al minuto (un'immagine ogni due secondi). |
| Speech-to-Text | Fino a sette minuti di audio trascritti al minuto (sette secondi di audio trascritti al secondo). |
| Vertex AI Translation | Fino a 61.000 caratteri al minuto (1024 caratteri al secondo). |
Quando pianifichi il deployment, tieni presente le seguenti indicazioni:
I limiti di capacità sono approssimativi e non sono garantiti. La capacità effettiva potrebbe variare in base a fattori quali:
- Complessità dei dati di input (ad esempio, lingua per la traduzione, qualità dell'immagine per l'OCR e chiarezza dell'audio per la conversione Speech-to-Text).
- Configurazione specifica dell'appliance.
- Utilizzo simultaneo di altri servizi sull'appliance.
È possibile attivare una sola API ad alta intensità di GPU (Vertex AI Translation o OCR) alla volta, perché l'appliance GDC con air gap è limitata a una singola GPU A100 da 80 GB.
Stima l'utilizzo di picco e la potenziale crescita futura.
Per workload impegnativi che richiedono un throughput più elevato, valuta la possibilità di eseguire il deployment di più unità appliance.
La tabella seguente descrive i requisiti di archiviazione per ogni servizio Vertex AI sull'appliance GDC con air gap:
| Componente | Requisiti di spazio di archiviazione |
|---|---|
| Frontend OCR | 0,1 GB |
| Backend OCR | 5 GB |
| Estrattore OCR | 0,1 GB |
| Frontend Speech-to-Text | 0,1 GB |
| Backend Speech-to-Text | 1,5 GB |
| Frontend di Vertex AI Translation | 0,7 GB |
| Backend di Vertex AI Translation | 61,4 GB |
Assicurati che l'appliance disponga di una capacità di archiviazione sufficiente per i servizi Vertex AI che intendi utilizzare.
Vantaggi
Vertex AI sull'appliance GDC con air gap offre i seguenti vantaggi:
- Esperienza di sviluppo fluida: utilizza gli stessi strumenti, API e flussi di lavoro di Vertex AI su Google Cloud, rendendo lo sviluppo e la gestione intuitivi ed efficienti.
- Sicurezza e privacy migliorate: mantieni il controllo completo sui tuoi dati e rispetta i requisiti normativi.
- Time to value accelerato: utilizza modelli preaddestrati per attività di machine learning comuni.
- MLOps semplificate: sfrutta le solide funzionalità di machine learning operations per integrazioni AI perfette nel tuo ambiente air-gapped.
Per iniziare
Per iniziare a utilizzare Vertex AI sull'appliance GDC con air gap, segui questi passaggi:
- Scopri di più sui ruoli e sulle autorizzazioni essenziali per i servizi disponibili.
- Configura un progetto per i workload di AI e machine learning.
- Esegui il provisioning delle GPU e attiva i servizi Vertex AI.
- Installa le librerie client di Vertex AI.