Questa pagina fornisce una panoramica dell'integrazione di Spanner Agent Platform. L'integrazione della piattaforma Spanner Agent funziona con i database GoogleSQL e PostgreSQL.
L'integrazione di Spanner Agent Platform consente di accedere ai modelli ML di regressione e classificazione ospitati su Gemini Enterprise Agent Platform tramite l'interfaccia di GoogleSQL e PostgreSQL. Ciò consente di integrare perfettamente la funzionalità di pubblicazione delle previsioni di ML con le operazioni di accesso ai dati Spanner generali eseguite utilizzando query DQL/DML.
Vantaggi dell'integrazione di Spanner Agent Platform
La generazione di previsioni ML utilizzando l'integrazione di Spanner Agent Platform offre numerosi vantaggi rispetto all'approccio in cui l'accesso ai dati Spanner e all'endpoint di previsione di Agent Platform vengono eseguiti separatamente:
- Rendimento:
- Latenza migliore: l'integrazione di Spanner Agent Platform che comunica direttamente con il servizio Agent Platform elimina i round trip aggiuntivi tra un nodo di calcolo che esegue un client Spanner e il servizio Agent Platform.
- Maggiore velocità effettiva/parallelismo: l'integrazione di Spanner Agent Platform viene eseguita sull'infrastruttura di elaborazione delle query distribuite di Spanner, che supporta l'esecuzione di query altamente parallelizzabili.
- Esperienza utente:
- La possibilità di utilizzare un'interfaccia SQL singola, semplice, coerente e familiare per facilitare gli scenari di trasformazione dei dati e di servizio ML a livello di scalabilità di Spanner riduce la barriera di accesso all'ML e consente un'esperienza utente molto più fluida.
- Costi:
- L'integrazione della piattaforma Spanner Agent utilizza la capacità di calcolo di Spanner per unire i risultati dei calcoli ML e dell'esecuzione delle query SQL, il che elimina la necessità di eseguire il provisioning di un ulteriore calcolo (ad esempio in Compute Engine o Google Kubernetes Engine) per questo scopo.
Come funziona l'integrazione di Spanner Agent Platform?
L'integrazione di Spanner Agent Platform non ospita modelli ML, ma si basa sull'infrastruttura del servizio Agent Platform. Non è necessario addestrare un modello utilizzando Agent Platform per utilizzarlo con l'integrazione di Spanner Agent Platform, ma devi eseguirne il deployment su un endpoint Agent Platform.
Per addestrare i modelli sui dati archiviati in Spanner, puoi utilizzare quanto segue:
Query federate BigQuery insieme a BigQuery ML.
Dataflow per esportare i dati da Spanner in formato CSV e importare l'origine dati CSV nella piattaforma per agenti.
L'integrazione di Spanner Agent Platform estende le seguenti funzioni per l'utilizzo dei modelli ML:
Genera previsioni di ML chiamando un modello utilizzando SQL sui tuoi dati Spanner. Puoi utilizzare un modello di Model Garden o un modello di cui è stato eseguito il deployment nel tuo endpoint Agent Platform.
Genera incorporamenti di testo per consentire a un LLM di tradurre i prompt di testo in numeri. Per scoprire di più sugli embedding, consulta Ottenere gli embedding di testo.
Utilizzo delle funzioni di integrazione di Spanner Agent Platform
Un modello nell'integrazione di Spanner Agent Platform può essere utilizzato per generare previsioni o incorporamenti di testo nel codice SQL utilizzando le funzioni ML Predict. Queste funzioni sono le seguenti:
GoogleSQL
Puoi utilizzare la seguente funzione ML.PREDICT per GoogleSQL:
Prima di utilizzarlo con la funzione ML.PREDICT, devi registrare il modello utilizzando l'istruzione DDL CREATE MODEL.
Puoi anche utilizzare SAFE.ML.PREDICT per restituire null anziché un errore nelle
previsioni. Ciò è utile nei casi in cui l'esecuzione di query di grandi dimensioni
in cui alcune previsioni non riuscite sono tollerabili.
PostgreSQL
Puoi utilizzare la seguente funzione ML.PREDICT per PostgreSQL:
Per utilizzare le funzioni, puoi selezionare un modello da Model Garden o utilizzare un modello di cui hai eseguito il deployment su Agent Platform.
Per saperne di più su come eseguire il deployment di un modello su un endpoint in Agent Platform, consulta Eseguire il deployment di un modello su un endpoint.
Per saperne di più su come utilizzare queste funzioni per generare una previsione ML, consulta Generare previsioni ML utilizzando SQL.
Per saperne di più su come utilizzare queste funzioni per generare text embedding, consulta Ottieni text embedding.
Prezzi
Non sono previsti costi aggiuntivi da parte di Spanner quando lo utilizzi con l'integrazione di Spanner Agent Platform. Tuttavia, ci sono altri possibili addebiti associati a questa funzionalità:
Paghi le tariffe standard per la previsione online di Agent Platform. L'addebito totale dipende dal tipo di modello utilizzato. Alcuni tipi di modelli hanno una tariffa oraria fissa, a seconda del tipo di macchina e del numero di nodi utilizzati. Alcuni tipi di modelli hanno tariffe per chiamata. Ti consigliamo di eseguire il deployment di quest'ultimo in un progetto dedicato in cui hai impostato quote di previsione esplicite.
Paghi le tariffe standard per il trasferimento di dati tra Spanner e Agent Platform. L'addebito totale dipende dalla regione che ospita il server che esegue la query e dalla regione che ospita l'endpoint chiamato. Per ridurre al minimo gli addebiti, esegui il deployment degli endpoint Agent Platform nella stessa regione dell'istanza Spanner. Quando utilizzi configurazioni di istanze multiregionali o più endpoint di Agent Platform, esegui il deployment degli endpoint nello stesso continente.
SLA
A causa della disponibilità della previsione online di Agent Platform inferiore, devi configurare correttamente i modelli Spanner ML per mantenere l'alta affidabilità di Spanner durante l'utilizzo dell'integrazione di Spanner Agent Platform:
- I modelli Spanner ML devono utilizzare più endpoint Agent Platform nel backend per abilitare il failover.
- Gli endpoint di Agent Platform devono essere conformi allo SLA di Agent Platform.
- Gli endpoint di Agent Platform devono fornire una capacità sufficiente per gestire il traffico in entrata.
- Gli endpoint di Agent Platform devono utilizzare regioni separate vicine al database Spanner per evitare interruzioni regionali.
- Gli endpoint di Agent Platform devono utilizzare progetti separati per evitare problemi con le quote di previsione per progetto.
Il numero di endpoint Agent Platform ridondanti dipende dal relativo SLA e dal numero di righe nelle query Spanner:
| SLA di Spanner | SLA di Agent Platform | 1 riga | 10 righe | 100 righe | 1000 righe |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,50% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,50% | 3 | 3 | 4 | 4 |
Gli endpoint Agent Platform non devono ospitare esattamente lo stesso modello. Ti consigliamo di configurare il modello Spanner ML in modo che abbia un modello primario, complesso e a elevato utilizzo di risorse di calcolo come primo endpoint. Gli endpoint di failover successivi possono puntare a modelli semplificati che richiedono meno risorse di calcolo, scalano meglio e possono assorbire i picchi di traffico.
Limitazioni
- L'input e l'output del modello devono essere un oggetto JSON.
Conformità
Assured Workloads non supporta l'API Prediction di Agent Platform. L'abilitazione di un vincolo di utilizzo delle risorse con limitazioni disabilita l'API Agent Platform e, di fatto, la funzionalità di integrazione di Spanner Agent Platform.
Inoltre, ti consigliamo di creare un perimetro dei Controlli di servizio VPC per assicurarti che i tuoi database di produzione non possano connettersi agli endpoint di Agent Platform nei tuoi progetti non di produzione che potrebbero non avere la configurazione di conformità corretta.