En esta página, se describe la administración de extremos de modelos. La administración de extremos de modelos te permite experimentar con el registro de un extremo de modelo de IA y la invocación de predicciones. Para usar modelos de IA en entornos de producción, consulta Compila aplicaciones de IA generativa con Cloud SQL y Llama a predicciones en línea desde instancias de Cloud SQL.
Después de agregar y registrar los extremos de modelos en la administración de extremos de modelos, puedes hacer referencia a ellos con el ID del modelo para invocar predicciones.
Antes de comenzar
Asegúrate de completar las siguientes acciones:
- Registra el extremo de tu modelo con la administración de extremos de modelos. Para obtener más información, consulta Registra y llama a modelos de IA remotos con la administración de extremos de modelos.
- Crea o actualiza tu instancia de Cloud SQL para que la instancia pueda integrarse en Vertex AI. Para obtener más información, consulta Habilita la integración de la base de datos con Vertex AI.
Invoca predicciones para modelos genéricos
Usa la función de SQL google_ml.predict_row() para llamar a un extremo de modelo genérico registrado para invocar predicciones. Puedes usar la función google_ml.predict_row() con cualquier tipo de modelo.
SELECT
google_ml.predict_row(
model_id => 'MODEL_ID',
request_body => 'REQUEST_BODY');
Reemplaza lo siguiente:
MODEL_ID: es el ID del modelo que definiste cuando registraste el extremo del modelo.REQUEST_BODY: son los parámetros de la función de predicción, en formato JSON.
Ejemplos
Para generar predicciones en un extremo del modelo gemini-pro registrado, ejecuta la siguiente instrucción:
SELECT
json_array_elements(
google_ml.predict_row(
model_id => 'gemini-pro',
request_body => '{
"contents": [
{
"role": "user",
"parts": [
{
"text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
}
]
}
]
}'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';