Esta página oferece uma visão geral da integração da Agent Platform com o Spanner. A integração da Agent Platform com o Spanner funciona com bancos de dados do GoogleSQL e do PostgreSQL.
A integração da Agent Platform com o Spanner ajuda a acessar modelos de ML de classificação e regressão hospedados na Agent Platform pela interface do GoogleSQL e pela interface do PostgreSQL. Isso ajuda a integrar perfeitamente a funcionalidade de disponibilização de previsões de ML com operações gerais de acesso aos dados do Spanner realizadas usando consultas DQL/DML.
Benefícios da integração da Agent Platform com o Spanner
A geração de previsões de ML usando a integração da Agent Platform com o Spanner oferece vários benefícios em comparação com a abordagem em que o acesso a dados do Spanner e o acesso ao endpoint de previsão da Agent Platform são realizados separadamente:
- Performance:
- Latência melhor: a integração da Agent Platform com o Spanner que se comunica diretamente com o serviço da Agent Platform elimina viagens de ida e volta adicionais entre um nó de computação que executa um cliente do Spanner e o serviço da Agent Platform.
- Melhor capacidade de processamento/paralelismo: a integração da Agent Platform com o Spanner é executada na infraestrutura distribuída de processamento de consultas do Spanner, que oferece suporte à execução de consultas altamente paralelizada.
- Experiência do usuário:
- A capacidade de usar uma interface SQL única, simples, coerente e familiar para facilitar a transformação de dados e os cenários de veiculação de ML no nível de escala do Spanner reduz a barreira de entrada de ML e permite uma experiência do usuário muito mais tranquila.
- Custos:
- A integração da Agent Platform com o Spanner usa a capacidade de computação do Spanner para mesclar os resultados de cálculos de ML e execução de consulta SQL, o que elimina a necessidade de provisionar uma computação adicional (por exemplo, no Compute Engine ou no Google Kubernetes Engine) para isso.
Como funciona a integração da Agent Platform com o Spanner?
A integração da Agent Platform com o Spanner não hospeda modelos de ML, mas depende da infraestrutura de serviço da Agent Platform. Não é necessário treinar um modelo usando a Agent Platform para usá-lo com a integração da Agent Platform com o Spanner, mas é preciso implantá-lo em um endpoint da Agent Platform.
Para treinar modelos em dados armazenados no Spanner, você pode usar o seguinte:
Dataflow para exportar dados do Spanner para o formato CSV e importar a fonte de dados CSV para a Agent Platform.
A integração da Agent Platform com o Spanner estende as seguintes funções para usar modelos de ML:
Gerar previsões de ML chamando um modelo usando SQL nos dados do Spanner. É possível usar um modelo do Model Garden da Agent Platform ou um modelo implantado no endpoint da Agent Platform.
Gerar embeddings de texto para que um LLM traduza comandos de texto em números. Para saber mais sobre embeddings, consulte Obter embeddings de texto.
Como usar as funções de integração da Agent Platform com o Spanner
Um modelo na integração da Agent Platform com o Spanner pode ser usado para gerar previsões ou embeddings de texto no código SQL usando as funções ML Predict. Essas funções são as seguintes:
GoogleSQL
É possível usar a seguinte função de previsão de ML para o GoogleSQL:
É necessário registrar o modelo usando a instrução CREATE MODEL
DDL antes de usá-lo com a função ML.PREDICT.
Também é possível usar SAFE.ML.PREDICT para retornar null em vez de um erro nas previsões. Isso é útil em casos em que a execução de consultas grandes em que algumas previsões com falha são toleráveis.
PostgreSQL
É possível usar a seguinte função de previsão de ML para o PostgreSQL:
Para usar as funções, selecione um modelo no Model Garden da Agent Platform ou use um modelo que você implantou na Agent Platform.
Para mais informações sobre como implantar um modelo em um endpoint na Agent Platform, consulte Implantar um modelo em um endpoint.
Para mais informações sobre como usar essas funções para gerar uma previsão de ML, consulte Gerar previsões de ML usando SQL.
Para mais informações sobre como usar essas funções para gerar embeddings de texto, consulte Obter embeddings de texto.
Preços
Não há cobranças adicionais do Spanner quando você o usa com a integração da Agent Platform com o Spanner. No entanto, há outras cobranças em potencial associadas a esse recurso:
Você paga as taxas padrão da Agent Platform previsão on-line. A cobrança total depende do tipo de modelo usado. Alguns tipos de modelo têm uma taxa fixa por hora, dependendo do tipo de máquina e do número de nós usados. Alguns tipos de modelo têm taxas por chamada. Recomendamos que você implante o último em um projeto dedicado em que você definiu cotas de previsão explícitas.
Você paga as taxas padrão de transferência de dados entre o Spanner e a Agent Platform. A cobrança total depende da região que hospeda o servidor que executa a consulta e da região que hospeda o endpoint chamado. Para minimizar as cobranças, implante os endpoints da Agent Platform na mesma região da instância do Spanner. Ao usar configurações de instâncias multirregionais ou vários endpoints da Agent Platform, implante os endpoints no mesmo continente.
SLA
Como a disponibilidade da previsão on-line da Agent Platform é menor, é necessário configurar corretamente os modelos de ML do Spanner para manter a alta disponibilidade do Spanner ao usar a integração da Agent Platform com o Spanner:
- Os modelos de ML do Spanner precisam usar vários endpoints da Agent Platform no back-end para ativar o failover.
- Os endpoints da Agent Platform precisam estar em conformidade com o SLA da Agent Platform.
- Os endpoints da Agent Platform precisam provisionar capacidade suficiente para processar o tráfego de entrada.
- Os endpoints da Agent Platform precisam usar regiões separadas próximas ao banco de dados do Spanner para evitar interrupções regionais.
- Os endpoints da Agent Platform precisam usar projetos separados para evitar problemas com cotas de previsão por projeto.
O número de endpoints redundantes da Agent Platform depende do SLA e do número de linhas nas consultas do Spanner:
| SLA do Spanner | SLA da Agent Platform | 1 linha | 10 linhas | 100 linhas | 1.000 linhas |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,5% | 3 | 3 | 4 | 4 |
Os endpoints da Agent Platform não precisam hospedar exatamente o mesmo modelo. Recomendamos que você configure o modelo de ML do Spanner para ter um modelo principal, complexo e com uso intenso de computação como o primeiro endpoint. Os endpoints de failover subsequentes podem apontar para modelos simplificados que são menos intensivos em computação, escalonam melhor e podem absorver picos de tráfego.
Limitações
- A entrada e a saída do modelo precisam ser um objeto JSON.
Compliance
O Assured Workloads não oferece suporte à API Prediction da Agent Platform. A ativação de uma restrição de uso de recursos desativa a API da Agent Platform e, efetivamente, o recurso de integração da Agent Platform com o Spanner.
Além disso, recomendamos que você crie um perímetro do VPC Service Controls para garantir que seus bancos de dados de produção não possam se conectar a endpoints da Agent Platform em seus projetos de não produção que talvez não tenham a configuração de compliance adequada.