Questa pagina fornisce una panoramica dell'integrazione di Spanner con Agent Platform. L'integrazione di Spanner con Agent Platform funziona con i database GoogleSQL e PostgreSQL.
L'integrazione di Spanner con Agent Platform consente di accedere ai modelli ML di classificazione e regressione ospitati su Agent Platform tramite l'interfaccia GoogleSQL e PostgreSQL. Ciò consente di integrare perfettamente la funzionalità di pubblicazione delle previsioni ML con le operazioni di accesso ai dati di Spanner eseguite utilizzando le query DQL/DML.
Vantaggi dell'integrazione di Spanner con Agent Platform
La generazione di previsioni ML utilizzando l'integrazione di Spanner con Agent Platform offre diversi vantaggi rispetto all'approccio in cui l'accesso ai dati di Spanner e l'accesso all'endpoint di previsione di Agent Platform vengono eseguiti separatamente:
- Prestazioni:
- Latenza migliore: l'integrazione di Spanner con Agent Platform che comunica direttamente con il servizio Agent Platform elimina i round trip aggiuntivi tra un nodo di calcolo che esegue un client di Spanner e il servizio Agent Platform.
- Velocità effettiva/parallelismo migliori: l'integrazione di Spanner con Agent Platform viene eseguita sull'infrastruttura di elaborazione delle query distribuita di Spanner, che supporta l'esecuzione di query altamente parallelizzabile.
- Esperienza utente:
- La possibilità di utilizzare un'interfaccia SQL singola, semplice, coerente e familiare per facilitare sia la trasformazione dei dati sia gli scenari di pubblicazione ML a livello di scalabilità di Spanner riduce la barriera di accesso ML e consente un'esperienza utente molto più fluida.
- Costi:
- L'integrazione di Spanner con Agent Platform utilizza la capacità di calcolo di Spanner per unire i risultati dei calcoli ML e dell'esecuzione delle query SQL, il che elimina la necessità di eseguire il provisioning di un calcolo aggiuntivo (ad esempio, in Compute Engine o Google Kubernetes Engine) per questo scopo.
Come funziona l'integrazione di Spanner con Agent Platform?
L'integrazione di Spanner con Agent Platform non ospita modelli ML, ma si basa invece sull'infrastruttura di servizi di Agent Platform. Non è necessario addestrare un modello utilizzando Agent Platform per utilizzarlo con l'integrazione di Spanner con Agent Platform, ma devi eseguirne il deployment su un endpoint Agent Platform.
Per addestrare i modelli sui dati archiviati in Spanner, puoi utilizzare quanto segue:
Query federate di BigQuery insieme a BigQuery ML.
Dataflow per esportare i dati da Spanner in formato CSV e importare l'origine dati CSV in Agent Platform.
L'integrazione di Spanner con Agent Platform estende le seguenti funzioni per l'utilizzo dei modelli ML:
Genera previsioni ML chiamando un modello utilizzando SQL sui dati di Spanner. Puoi utilizzare un modello di Agent Platform Model Garden o un modello di cui è stato eseguito il deployment nell'endpoint Agent Platform.
Genera incorporamenti di testo per consentire a un LLM di tradurre i prompt di testo in numeri. Per scoprire di più sugli incorporamenti, consulta Ottenere incorporamenti di testo.
Utilizzo delle funzioni di integrazione di Spanner con Agent Platform
Un modello nell'integrazione di Spanner con Agent Platform può essere utilizzato per generare previsioni o incorporamenti di testo nel codice SQL utilizzando le funzioni ML.PREDICT. Queste funzioni sono le seguenti:
GoogleSQL
Puoi utilizzare la seguente funzione di previsione ML per GoogleSQL:
Prima di utilizzare il modello con la funzione ML.PREDICT, devi registrarlo utilizzando l'istruzione CREATE MODEL.
Puoi anche utilizzare SAFE.ML.PREDICT per restituire null anziché un errore nelle previsioni. Questo è utile nei casi in cui si eseguono query di grandi dimensioni in cui alcune previsioni non riuscite sono tollerabili.
PostgreSQL
Puoi utilizzare la seguente funzione di previsione ML per PostgreSQL:
Per utilizzare le funzioni, puoi selezionare un modello da Agent Platform Model Garden o utilizzare un modello di cui hai eseguito il deployment su Agent Platform.
Per ulteriori informazioni su come eseguire il deployment di un modello in un endpoint in Agent Platform, consulta Eseguire il deployment di un modello in un endpoint.
Per ulteriori informazioni su come utilizzare queste funzioni per generare una previsione ML, consulta Generare previsioni ML utilizzando SQL.
Per ulteriori informazioni su come utilizzare queste funzioni per generare incorporamenti di testo, consulta Ottenere incorporamenti di testo.
Prezzi
Non sono previsti costi aggiuntivi da Spanner quando lo utilizzi con l'integrazione di Spanner con Agent Platform. Tuttavia, sono previsti altri potenziali costi associati a questa funzionalità:
Paghi le tariffe standard per la previsione online di Agent Platform. L'addebito totale dipende dal tipo di modello utilizzato. Alcuni tipi di modelli hanno una tariffa fissa oraria, a seconda del tipo di macchina e del numero di nodi utilizzati. Alcuni tipi di modelli hanno tariffe per chiamata. Ti consigliamo di eseguire il deployment di quest'ultimo in un progetto dedicato in cui hai impostato quote di previsione esplicite.
Paghi le tariffe standard per il trasferimento di dati tra Spanner e Agent Platform. L'addebito totale dipende dalla regione che ospita il server che esegue la query e dalla regione che ospita l'endpoint chiamato. Per ridurre al minimo gli addebiti, esegui il deployment degli endpoint Agent Platform nella stessa regione dell'istanza Spanner. Quando utilizzi configurazioni di istanze multiregionali o più endpoint Agent Platform, esegui il deployment degli endpoint nello stesso continente.
SLA
Poiché la disponibilità della previsione online di Agent Platform è inferiore, devi configurare correttamente i modelli ML di Spanner per mantenere l'alta affidabilità di Spanner durante l'utilizzo dell'integrazione di Spanner con Agent Platform:
- I modelli ML di Spanner devono utilizzare più endpoint Agent Platform nel backend per abilitare il failover.
- Gli endpoint Agent Platform devono essere conformi allo SLA di Agent Platform.
- Gli endpoint Agent Platform devono eseguire il provisioning di una capacità sufficiente per gestire il traffico in entrata.
- Gli endpoint Agent Platform devono utilizzare regioni separate vicine al database Spanner per evitare interruzioni regionali.
- Gli endpoint Agent Platform devono utilizzare progetti separati per evitare problemi con le quote di previsione per progetto.
Il numero di endpoint Agent Platform ridondanti dipende dal loro SLA e dal numero di righe nelle query Spanner:
| SLA di Spanner | SLA di Agent Platform | 1 riga | 10 righe | 100 righe | 1000 righe |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,5% | 3 | 3 | 4 | 4 |
Gli endpoint Agent Platform non devono ospitare esattamente lo stesso modello. Ti consigliamo di configurare il modello ML di Spanner in modo che il primo endpoint sia un modello primario, complesso e a elevato utilizzo di calcolo. Gli endpoint di failover successivi possono puntare a modelli semplificati che richiedono meno calcoli, scalano meglio e possono assorbire i picchi di traffico.
Limitazioni
- L'input e l'output del modello devono essere un oggetto JSON.
Conformità
Assured Workloads non supporta l' API Prediction di Agent Platform. L'abilitazione di un vincolo di limitazione dell'utilizzo delle risorse disabilita l'API Agent Platform e, di fatto, la funzionalità di integrazione di Spanner con Agent Platform.
Inoltre, ti consigliamo di creare un perimetro dei Controlli di servizio VPC per assicurarti che i database di produzione non possano connettersi agli endpoint Agent Platform nei progetti non di produzione che potrebbero non avere la configurazione di conformità corretta.