Esegui soluzioni AI su Cloud Run

Cloud Run ti consente di ospitare app e agenti di AI, pubblicare l'inferenza dei modelli e creare workflow di AI. L'infrastruttura gestita e la scalabilità on demand ti consentono di eseguire workload di AI containerizzati senza gestire server o cluster.

Cloud Run per l'hosting di applicazioni AI, agenti ed endpoint API scalabili

Cloud Run fornisce una piattaforma completamente gestita che scala le tue app e i tuoi workload di AI.

Quando ospiti app di AI su Cloud Run, in genere hai i seguenti componenti dell'architettura:

• Pubblicazione e orchestrazione: esegui il deployment del codice o del container dell'applicazione in Cloud Run.
• Modelli di AI: utilizzi i modelli di AI di Google, i modelli open source o i modelli personalizzati con la tua app.
• Integrazioni: puoi connetterti ai servizi Google Cloud o a servizi di terze parti per memoria, database, archiviazione, sicurezza e altro ancora.
• Strumenti: puoi connetterti a strumenti per altre attività e operazioni.

Il seguente diagramma mostra una panoramica di alto livello dell'utilizzo di Cloud Run come piattaforma di hosting per le app di AI:

Figura 1. Componenti di un'app di AI ospitata su Cloud Run.

Come mostrato nel diagramma:

1. All'interno del livello di distribuzione e orchestrazione, un servizio Cloud Run funge da endpoint API scalabile per la logica principale dell'applicazione. Gestisce in modo efficiente più utenti contemporaneamente tramite la scalabilità automatica, on demand e rapida delle istanze.

   Porti il tuo container per eseguirne il deployment in Cloud Run. Puoi pacchettizzare l'applicazione e la relativa dipendenza in un container o fornire il codice sorgente e lasciare che Cloud Run lo crei automaticamente in un container per il deployment. Per i deployment del codice sorgente, puoi utilizzare qualsiasi linguaggio, framework open source o SDK per creare le tue app di AI.

2. La tua app di AI funge da endpoint API scalabile che gestisce le richieste in entrata e invia i dati a un modello di AI preaddestrato per l'elaborazione, quindi restituisce i risultati.

   Cloud Run è integrato con i modelli di Google, come i modelli di AI Gemini e Vertex AI, e può essere integrato con modelli open source, come Llama e Gemma. Se hai un modello personalizzato che hai addestrato autonomamente, puoi utilizzarlo anche con la tua risorsa Cloud Run.

3. Google Cloud offre un'ampia gamma di soluzioni per supportare l'infrastruttura della tua applicazione di AI. Alcune integrazioni diGoogle Cloud che funzionano bene con la tua app di AI includono:

   • Memoria e database
     • Breve termine
       • Memorystore è un servizio di gestione dei dati temporanei ad accesso elevato e di memorizzazione nella cache che fornisce una cache esterna e veloce per l'archiviazione dei dati a breve termine.
     • Lungo termine
       • AlloyDB per PostgreSQL è un database compatibile con PostgreSQL progettato per workload transazionali e analitici impegnativi. Offre la generazione di vector embedding integrata e un indice vettoriale ad alta velocità, che velocizza la ricerca semantica rispetto all'implementazione standard di pgvector.
       • Cloud SQL è un servizio di database relazionale per MySQL, PostgreSQL e SQL Server che può fungere anche da archivio vettoriale con l'estensione pgvector per PostgreSQL.
       • Firestore è un servizio di database di documenti NoSQL scalabile che include funzionalità di Vector Search integrate.
   • Spazio di archiviazione
     • Cloud Storage è una soluzione di archiviazione di oggetti per contenere set di dati di grandi dimensioni per l'addestramento dei modelli, file di input/output per l'applicazione o artefatti dei modelli.
   • Sicurezza
     • Secret Manager è un servizio di gestione di secret e credenziali che fornisce un modo sicuro e centralizzato per archiviare dati sensibili come chiavi API, password e credenziali, spesso richiesti dalle applicazioni di AI per interagire con servizi esterni.

   Per saperne di più, consulta Connettiti ai servizi Google Cloud .

4. Gli strumenti consentono alle tue app e ai tuoi modelli di AI di interagire con servizi, API o siti web eseguiti esternamente o su Cloud Run.

   Ad esempio, se la tua app di AI è un agente AI, l'agente potrebbe inviare una richiesta a un server MCP per eseguire uno strumento esterno o utilizzare strumenti in esecuzione nel container, come l'esecuzione di codice, l'utilizzo del computer, il recupero di informazioni e così via.

Ospita i modelli su Cloud Run per l'inferenza AI

Oltre a creare applicazioni e agenti che utilizzano un modello linguistico di grandi dimensioni (LLM), puoi anche abilitare le GPU con Cloud Run per eseguire modelli preaddestrati o personalizzati di cui è stato eseguito il deployment autonomo per l'inferenza AI.

Le GPU Cloud Run consentono di gestire l'elevato numero di operazioni necessarie per eseguire attività computazionalmente impegnative per i workload di inferenza AI. Esegui il deployment dei modelli di AI come immagini container o dal codice sorgente e utilizza una serie di metodi per eseguire il deployment delle tue risorse Cloud Run.

Passaggi successivi

• Esplora le risorse AI di Cloud Run