Registra y llama a modelos de IA remotos en la descripción general de AlloyDB

La administración de extremos de modelos en AlloyDB para PostgreSQL te permite registrar modelos de IA remotos, administrar metadatos de modelos en tu clúster de base de datos y, además, invocar predicciones o generar embeddings con consultas en SQL. Comprender los esquemas de administración de extremos de modelos, los proveedores de modelos compatibles, los métodos de autenticación y los tipos de funciones de SQL te ayuda a integrar modelos de base y extremos personalizados con tus cargas de trabajo de bases de datos.

Para registrar extremos de modelos remotos con AlloyDB Omni, consulta Registra y llama a modelos de IA remotos en AlloyDB Omni.

Descripción general

La administración de extremos de modelos es una función de AlloyDB AI que incluye funciones y operadores que te ayudan a registrar y administrar metadatos de modelos de IA. Puedes registrar un extremo de modelo, administrar los metadatos del extremo del modelo en tu clúster de base de datos y realizar llamadas a los extremos de modelos remotos con consultas en SQL.

La administración de extremos de modelos proporciona la extensión google_ml_integration, que incluye funciones que te permiten registrar los metadatos relacionados con los modelos de IA con AlloyDB. Estos metadatos registrados se usan para generar embeddings de vectores o invocar predicciones.

Las funciones de IA incluyen un conjunto de funciones que se basan en la administración de extremos de modelos (versión preliminar) y agregan compatibilidad con operadores de IA que te permiten combinar frases en lenguaje natural con consultas en SQL, como ai.if() para filtros y uniones, ai.rank() para ordenar y ai.generate() para generar resúmenes de tus datos. También agrega compatibilidad con los modelos multimodales y de clasificación de Gemini Enterprise Agent Platform.

Estos son algunos de los tipos de modelos de ejemplo que puedes registrar con la administración de extremos de modelos:

  • Modelos genéricos y de embedding de texto de Agent Platform
  • Modelo multimodal de Agent Platform
  • Modelos de clasificación de Agent Platform
  • Modelos de incorporación proporcionados por proveedores externos, como Hugging Face u OpenAI
  • Modelos de embedding de texto alojados por el cliente, incluidos los modelos alojados de forma automática o los modelos disponibles a través de extremos privados
  • Modelos genéricos con una API basada en JSON, por ejemplo, el modelo facebook/bart-large-mnli alojado en Hugging Face, el modelo gemini-3.5-flash-lite de Model Garden o los modelos claude de Anthropic

Casos de uso

Puedes llamar a los extremos del modelo registrado para interactuar con los datos existentes en tu base de datos y generar embeddings o predicciones. Estos son algunos casos de uso de la aplicación:

  • Inferencia en tiempo real con la aplicación de transacciones: Proporciona recomendaciones en tiempo real según el historial de navegación actual del usuario y el contenido del carrito.
  • Identificar opiniones y generar resúmenes: Para una base de datos de opiniones de clientes, genera resúmenes o identifica la opinión clave de cada opinión.
  • Sistemas inteligentes de búsqueda y recuperación: Crea sistemas de búsqueda para una base de datos de conocimiento interno y realiza consultas con operadores de SQL potenciados por IA en lugar de palabras clave.
  • Experiencias del usuario personalizadas: Optimiza una plataforma de contenido para personalizar de forma dinámica el contenido que se muestra a cada usuario en función de sus interacciones anteriores.

Para obtener más información sobre los casos de uso de AlloyDB AI, consulta Casos de uso de AlloyDB AI.

Cómo funciona

Puedes usar la administración de extremos de modelos para registrar un extremo de modelo que cumpla con lo siguiente:

  • La entrada y la salida del modelo admiten el formato JSON.
  • Se puede llamar al modelo con el protocolo REST.

Cuando registras un extremo de modelo con la administración de extremos de modelo, se registra cada extremo con un ID de modelo único que proporcionaste como referencia al modelo.

Puedes usar el ID del extremo del modelo para consultar modelos y hacer lo siguiente:

  • Genera embeddings para traducir instrucciones de texto en vectores numéricos. Puedes almacenar los embeddings generados como datos vectoriales cuando la extensión vector está habilitada en la base de datos. Para obtener más información, consulta Indexa y consulta embeddings con pgvector.

  • Genera embeddings multimodales para traducir datos multimodales, como texto, imágenes y videos, en embeddings. (Vista previa)

  • Clasifica o puntúa una lista de elementos en una consulta según un criterio establecido con lenguaje natural.

  • Invoca predicciones con SQL.

Conceptos clave

Antes de comenzar a usar la administración de extremos de modelos, comprende los conceptos necesarios para conectarte a los modelos y usarlos.

Esquemas

Tus aplicaciones pueden acceder a la administración de extremos de modelos con la extensión google_ml_integration. La extensión google_ml_integration incluye funciones en los esquemas public, google_ml y ai. Todas las funciones se incluyen en el esquema google_ml, y algunas funciones están disponibles en los esquemas public y ai.

Para obtener más información sobre los esquemas, consulta Esquemas.

Proveedor del modelo

Proveedor de modelos indica los proveedores de hosting de modelos compatibles. Configurar el proveedor del modelo es opcional, pero ayuda a administrar el extremo del modelo, ya que identifica al proveedor y formatea automáticamente los encabezados de los modelos compatibles.

Para obtener más información sobre el proveedor de modelos, consulta Proveedor de modelos.

Tipo de modelo

Tipo de modelo indica el tipo de modelo de IA. La extensión admite embeddings de texto, embeddings multimodales, modelos de lenguaje grandes (LLM), reclasificación, previsión de series temporales y tipos de modelos genéricos. Los tipos de modelos admitidos que puedes configurar cuando registras un extremo de modelo son text_embedding, generic, llm, reranking, multimodal_embedding y ts_forecasting.

Establecer el tipo de modelo es opcional cuando se registran extremos de modelos genéricos, ya que generic es el tipo de modelo predeterminado.

Para obtener más información sobre el tipo de modelo, consulta Tipo de modelo.

Autenticación

Los tipos de autenticación indican el tipo de autenticación que puedes usar para conectarte a la administración de extremos del modelo con la extensión google_ml_integration. Configurar la autenticación es opcional y solo se requiere si necesitas autenticarte para acceder a tu modelo.

Para obtener más información sobre la autenticación, consulta Autenticación.

Funciones de predicción

Las funciones de predicción son funciones de SQL que te permiten interactuar con modelos de IA desde tu base de datos de AlloyDB. Estas funciones te permiten usar consultas en SQL estándar para enviar datos a un extremo de modelo y generar embeddings o predicciones.

Para obtener más información sobre las funciones de predicción, consulta Funciones de predicción.

Funciones de operador

La extensión google_ml_integration incluye las siguientes funciones de operador, que usan Gemini predeterminado para realizar consultas con operadores de SQL potenciados por IA.

Para obtener más información sobre las funciones de operador, consulta Funciones de operador.

Funciones de transformación

Las funciones de transformación modifican la entrada a un formato que el modelo comprende y convierten la respuesta del modelo al formato que espera la función de predicción. Las funciones de transformación se usan cuando se registra el extremo del modelo text_embedding sin compatibilidad integrada. La firma de las funciones de transformación depende de la entrada que espera el modelo.

Para obtener más información sobre las funciones de transformación, consulta Funciones de transformación.

Función de generación de encabezados HTTP

La función de generación de encabezados HTTP genera el resultado en pares clave-valor de JSON que se usan como encabezados HTTP. La firma de la función de predicción define las firmas de la función de generación de encabezados.

Para obtener más información sobre la función de generación de encabezados HTTP, consulta Función de generación de encabezados HTTP.

¿Qué sigue?