Questa pagina fornisce una panoramica dell'integrazione di Spanner Agent Platform. L'integrazione di Spanner Agent Platform funziona con i database GoogleSQL e PostgreSQL.
L'integrazione di Spanner Agent Platform consente di accedere ai modelli ML di classificatori e regressione ospitati su Vertex AI tramite l'interfaccia di GoogleSQL e PostgreSQL. In questo modo, la funzionalità di pubblicazione delle previsioni ML viene integrata perfettamente con le operazioni di accesso ai dati di Spanner eseguite utilizzando le query DQL/DML.
Vantaggi dell'integrazione di Spanner Agent Platform
La generazione di previsioni ML utilizzando l'integrazione di Spanner Agent Platform offre diversi vantaggi rispetto all'approccio in cui l'accesso ai dati di Spanner e l'accesso all'endpoint di previsione di Vertex AI vengono eseguiti separatamente:
- Prestazioni:
- Latenza migliore: l'integrazione di Spanner Agent Platform che comunica direttamente con il servizio Vertex AI elimina i round trip aggiuntivi tra un nodo di calcolo che esegue un client di Spanner e il servizio Vertex AI.
- Velocità effettiva/parallelismo migliori: l'integrazione di Spanner Agent Platform viene eseguita sull'infrastruttura di elaborazione delle query distribuite di Spanner, che supporta l'esecuzione di query altamente parallelizzabili.
- Esperienza utente:
- La possibilità di utilizzare un'unica interfaccia SQL semplice, coerente e familiare per facilitare sia la trasformazione dei dati sia gli scenari di pubblicazione ML a livello di scalabilità di Spanner riduce la barriera di accesso ML e consente un'esperienza utente molto più fluida.
- Costi:
- L'integrazione di Spanner Agent Platform utilizza la capacità di calcolo di Spanner per unire i risultati dei calcoli ML e dell'esecuzione delle query SQL, il che elimina la necessità di eseguire il provisioning di un calcolo aggiuntivo (ad esempio in Compute Engine o Google Kubernetes Engine) per questo scopo.
Come funziona l'integrazione di Spanner Agent Platform?
L'integrazione di Spanner Agent Platform non ospita modelli ML, ma si basa sull'infrastruttura del servizio Vertex AI. Non è necessario addestrare un modello utilizzando Vertex AI per utilizzarlo con l'integrazione di Spanner Agent Platform, ma devi eseguirne il deployment su un endpoint Vertex AI.
Per addestrare i modelli sui dati archiviati in Spanner, puoi utilizzare:
Query federate di BigQuery insieme a BigQuery ML.
Dataflow per esportare i dati da Spanner in formato CSV e importare l'origine dati CSV in Vertex AI.
L'integrazione di Spanner Agent Platform estende le seguenti funzioni per l'utilizzo dei modelli ML:
Genera previsioni ML chiamando un modello utilizzando SQL sui dati di Spanner. Puoi utilizzare un modello di Vertex AI Model Garden o un modello di cui è stato eseguito il deployment sul tuo endpoint Vertex AI.
Genera incorporamenti di testo per consentire a un LLM di tradurre i prompt di testo in numeri. Per scoprire di più sugli incorporamenti, consulta Ottenere incorporamenti di testo.
Utilizzare le funzioni di integrazione di Spanner Agent Platform
Un modello nell'integrazione di Spanner Agent Platform può essere utilizzato per generare previsioni o incorporamenti di testo nel codice SQL utilizzando le funzioni ML.PREDICT. Queste funzioni sono le seguenti:
GoogleSQL
Puoi utilizzare la seguente funzione di previsione ML per GoogleSQL:
Prima di utilizzare il modello con la funzione ML.PREDICT, devi registrarlo utilizzando l'istruzione CREATE MODEL.
Puoi anche utilizzare SAFE.ML.PREDICT per restituire null anziché un errore nelle previsioni. Questa opzione è utile nei casi in cui si eseguono query di grandi dimensioni in cui alcune previsioni non riuscite sono tollerabili.
PostgreSQL
Puoi utilizzare la seguente funzione di previsione ML per PostgreSQL:
Per utilizzare le funzioni, puoi selezionare un modello da Vertex AI Model Garden o utilizzare un modello di cui hai eseguito il deployment su Vertex AI.
Per saperne di più su come eseguire il deployment di un modello su un endpoint in Vertex AI, consulta Eseguire il deployment di un modello su un endpoint.
Per saperne di più su come utilizzare queste funzioni per generare una previsione ML, consulta Generare previsioni ML utilizzando SQL.
Per saperne di più su come utilizzare queste funzioni per generare incorporamenti di testo, consulta Ottenere incorporamenti di testo.
Prezzi
Non sono previsti costi aggiuntivi da Spanner quando lo utilizzi con l'integrazione di Spanner Agent Platform. Tuttavia, esistono altri potenziali costi associati a questa funzionalità:
Paghi le tariffe standard per la previsione online di Vertex AI. Il costo totale dipende dal tipo di modello che utilizzi. Alcuni tipi di modelli hanno una tariffa fissa oraria, a seconda del tipo di macchina e del numero di nodi utilizzati. Alcuni tipi di modelli hanno tariffe per chiamata. Ti consigliamo di eseguire il deployment di questi ultimi in un progetto dedicato in cui hai impostato quote di previsione esplicite.
Paghi le tariffe standard per il trasferimento di dati tra Spanner e Vertex AI. Il costo totale dipende dalla regione che ospita il server che esegue la query e dalla regione che ospita l'endpoint chiamato. Per ridurre al minimo i costi, esegui il deployment degli endpoint Vertex AI nella stessa regione dell'istanza Spanner. Quando utilizzi configurazioni di istanze multiregionali o più endpoint Vertex AI, esegui il deployment degli endpoint sullo stesso continente.
SLA
Poiché la disponibilità della previsione online di Vertex AI è inferiore, devi configurare correttamente i modelli ML di Spanner per mantenere l'alta affidabilità di Spanner durante l'utilizzo dell'integrazione di Spanner Agent Platform:
- I modelli ML di Spanner devono utilizzare più endpoint Vertex AI nel backend per consentire il failover.
- Gli endpoint Vertex AI devono essere conformi allo SLA di Vertex AI.
- Gli endpoint Vertex AI devono eseguire il provisioning di una capacità sufficiente per gestire il traffico in entrata.
- Gli endpoint Vertex AI devono utilizzare regioni separate vicine al database Spanner per evitare interruzioni regionali.
- Gli endpoint Vertex AI devono utilizzare progetti separati per evitare problemi con le quote di previsione per progetto.
Il numero di endpoint Vertex AI ridondanti dipende dal loro SLA e dal numero di righe nelle query Spanner:
| SLA di Spanner | SLA di Vertex AI | 1 riga | 10 righe | 100 righe | 1000 righe |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,50% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,50% | 3 | 3 | 4 | 4 |
Gli endpoint Vertex AI non devono ospitare esattamente lo stesso modello. Ti consigliamo di configurare il modello ML di Spanner in modo che il primo endpoint sia un modello primario, complesso e a elevato utilizzo di calcolo. Gli endpoint di failover successivi possono puntare a modelli semplificati che richiedono meno calcoli, scalano meglio e possono assorbire i picchi di traffico.
Limitazioni
- L'input e l'output del modello devono essere un oggetto JSON.
Conformità
Assured Workloads non supporta l' API Vertex AI Prediction. L'attivazione di un vincolo di utilizzo delle risorse restrittivo disabilita l'API Vertex AI e, di fatto, la funzionalità di integrazione di Spanner Agent Platform.
Inoltre, ti consigliamo di creare un perimetro di Controlli di servizio VPC per assicurarti che i database di produzione non possano connettersi agli endpoint Vertex AI nei progetti non di produzione che potrebbero non avere la configurazione di conformità corretta.