En esta página, se proporciona una descripción general de la integración de Vertex AI con Spanner. La integración de Vertex AI en Spanner funciona con bases de datos de GoogleSQL y PostgreSQL.
La integración de Vertex AI en Spanner te ayuda a acceder a los modelos de AA de clasificación y regresión alojados en la Agent Platform a través de las interfaces de GoogleSQL y PostgreSQL. Esto ayuda a integrar sin problemas la funcionalidad de servicio de predicciones de AA con las operaciones generales de acceso a los datos de Spanner que se realizan con consultas de DQL/DML.
Beneficios de la integración de Vertex AI en Spanner
Generar predicciones de AA con la integración de Vertex AI de Spanner proporciona varios beneficios en comparación con el enfoque en el que el acceso a los datos de Spanner y el acceso al endpoint de predicción de la Plataforma de agentes se realizan por separado:
- Rendimiento:
- Mejor latencia: La integración de Spanner Vertex AI que se comunica directamente con el servicio de Agent Platform elimina los viajes de ida y vuelta adicionales entre un nodo de procesamiento que ejecuta un cliente de Spanner y el servicio de Agent Platform.
- Mejor capacidad de procesamiento y paralelismo: La integración de Spanner con Vertex AI se ejecuta sobre la infraestructura de procesamiento de consultas distribuidas de Spanner, que admite la ejecución de consultas altamente paralelizable.
- Experiencia del usuario:
- La capacidad de usar una interfaz de SQL única, simple, coherente y familiar para facilitar tanto la transformación de datos como las situaciones de entrega de AA a nivel de la escala de Spanner reduce la barrera de entrada del AA y permite una experiencia del usuario mucho más fluida.
- Costos:
- La integración de Spanner Vertex AI usa la capacidad de procesamiento de Spanner para combinar los resultados de los cálculos de AA y la ejecución de consulta en SQL, lo que elimina la necesidad de aprovisionar un procesamiento adicional (por ejemplo, en Compute Engine o Google Kubernetes Engine).
¿Cómo funciona la integración de Vertex AI con Spanner?
La integración de Vertex AI en Spanner no aloja modelos de AA, sino que se basa en la infraestructura del servicio de Agent Platform. No es necesario que entrenes un modelo con Agent Platform para usarlo con la integración de Spanner Vertex AI, pero debes implementarlo en un endpoint de Agent Platform.
Para entrenar modelos con datos almacenados en Spanner, puedes usar lo siguiente:
Consultas federadas de BigQuery junto con BigQuery ML.
Dataflow para exportar datos de Spanner en formato CSV y, luego, importar la fuente de datos CSV a Agent Platform
La integración de Vertex AI de Spanner extiende las siguientes funciones para usar modelos de AA:
Genera predicciones de AA llamando a un modelo con SQL en tus datos de Spanner. Puedes usar un modelo de Agent Platform Model Garden o un modelo implementado en tu extremo de Agent Platform.
Genera incorporaciones de texto para que un LLM traduzca instrucciones de texto en números. Para obtener más información sobre las incorporaciones, consulta Obtén incorporaciones de texto.
Usa las funciones de integración de Vertex AI de Spanner
Se puede usar un modelo en la integración de Vertex AI de Spanner para generar predicciones o embeddings de texto en tu código SQL con las funciones de ML Predict. Estas funciones son las siguientes:
GoogleSQL
Puedes usar la siguiente función ML predict para GoogleSQL:
Debes registrar tu modelo con la instrucción DDL CREATE MODEL antes de usarlo con la función ML.PREDICT.
También puedes usar SAFE.ML.PREDICT para devolver null en lugar de un error en tus predicciones. Esto resulta útil en los casos en que se ejecutan consultas grandes en las que se toleran algunas predicciones fallidas.
PostgreSQL
Puedes usar la siguiente función ML predict para PostgreSQL:
Para usar las funciones, puedes seleccionar un modelo del Model Garden de Agent Platform o usar un modelo que hayas implementado en Agent Platform.
Para obtener más información sobre cómo implementar un modelo en un extremo en Agent Platform, consulta Implementa un modelo en un extremo.
Para obtener más información sobre cómo usar estas funciones para generar una predicción de AA, consulta Genera predicciones de AA con SQL.
Para obtener más información sobre cómo usar estas funciones para generar incorporaciones de texto, consulta Obtén incorporaciones de texto.
Precios
Spanner no cobra cargos adicionales cuando lo usas con la integración de Vertex AI de Spanner. Sin embargo, hay otros posibles cargos asociados con esta función:
Pagas las tarifas estándar por la predicción en línea de Agent Platform. El cargo total depende del tipo de modelo que uses. Algunos tipos de modelos tienen una tarifa plana por hora, según el tipo de máquina y la cantidad de nodos que uses. Algunos tipos de modelos tienen tarifas por llamada. Te recomendamos que implementes este último en un proyecto dedicado en el que hayas establecido cuotas de predicción explícitas.
Pagas las tarifas estándar por la transferencia de datos entre Spanner y Agent Platform. El cargo total depende de la región que aloja el servidor que ejecuta la consulta y la región que aloja el extremo llamado. Para minimizar los cargos, implementa tus endpoints de Agent Platform en la misma región que tu instancia de Spanner. Cuando uses configuraciones de instancias multirregionales o varios extremos de Agent Platform, implementa tus extremos en el mismo continente.
ANS
Debido a que la disponibilidad de predicciones en línea de Agent Platform es menor, debes configurar correctamente los modelos de AA de Spanner para mantener la alta disponibilidad de Spanner mientras usas la integración de Vertex AI de Spanner:
- Los modelos de AA de Spanner deben usar varios extremos de la plataforma de agentes en el backend para habilitar la conmutación por error.
- Los extremos de Agent Platform deben cumplir con el SLA de Agent Platform.
- Los extremos de Agent Platform deben aprovisionar suficiente capacidad para controlar el tráfico entrante.
- Los extremos de Agent Platform deben usar regiones separadas cerca de la base de datos de Spanner para evitar interrupciones regionales.
- Los extremos de Agent Platform deben usar proyectos separados para evitar problemas con las cuotas de predicción por proyecto.
La cantidad de extremos redundantes de la Plataforma de agentes depende de su ANS y de la cantidad de filas en las consultas de Spanner:
| ANS de Spanner | ANS de Agent Platform | 1 fila | 10 filas | 100 filas | 1,000 filas |
|---|---|---|---|---|---|
| 99.99% | 99.9% | 2 | 2 | 2 | 3 |
| 99.99% | 99.5% | 2 | 3 | 3 | 4 |
| 99.999% | 99.9% | 2 | 2 | 3 | 3 |
| 99.999% | 99.5% | 3 | 3 | 4 | 4 |
Los extremos de la Plataforma de agentes no necesitan alojar exactamente el mismo modelo. Te recomendamos que configures el modelo de AA de Spanner para que tenga un modelo principal, complejo y con uso intensivo de procesamiento como su primer endpoint. Los extremos de conmutación por error posteriores pueden apuntar a modelos simplificados que requieren menos procesamiento, se ajustan mejor y pueden absorber los picos de tráfico.
Limitaciones
- La entrada y la salida del modelo deben ser un objeto JSON.
Cumplimiento
Assured Workloads no admite la API de Prediction de Agent Platform. Habilitar una restricción de uso de recursos inhabilita la API de Agent Platform y, de hecho, la función de integración de Spanner Vertex AI.
Además, te recomendamos que crees un perímetro de Controles del servicio de VPC para garantizar que tus bases de datos de producción no puedan conectarse a los extremos de la Plataforma de agentes en tus proyectos que no son de producción y que podrían no tener la configuración de cumplimiento adecuada.