Registe e chame modelos de IA remotos na vista geral do AlloyDB

Antes de registar um ponto final do modelo de IA e invocar previsões, saiba mais acerca dos conceitos-chave para registar pontos finais do modelo de IA e invocar previsões com a gestão de pontos finais do modelo. Este documento oferece uma vista geral da gestão de pontos finais de modelos, exemplos de utilização e conceitos, como esquemas, fornecedores e tipos de modelos, autenticação e vários tipos de funções.

Para registar pontos finais de modelos remotos com o AlloyDB Omni, consulte o artigo Registe e chame modelos de IA remotos no AlloyDB Omni.

Vista geral

A gestão de pontos finais de modelos é uma funcionalidade do AlloyDB AI que inclui funções e operadores que ajudam a registar e gerir metadados de modelos de IA. Pode registar um ponto final do modelo, gerir metadados do ponto final do modelo no cluster da base de dados e fazer chamadas para os pontos finais do modelo remoto através de consultas SQL.

A gestão de pontos finais de modelos fornece a extensão google_ml_integration que inclui funções que lhe permitem registar os metadados relacionados com modelos de IA no AlloyDB. Estes metadados registados são usados para gerar incorporações de vetores ou invocar previsões.

O motor de consultas de IA do AlloyDB é um conjunto de funções que se baseiam na gestão de pontos finais de modelos (pré-visualização) e adiciona suporte para operadores de IA que lhe permitem combinar expressões de linguagem natural com consultas SQL, como ai.if() para filtros e junções, ai.rank() para ordenação e ai.generate() para gerar resumos dos seus dados. Também adiciona suporte para modelos multimodais e de classificação da Vertex AI.

Seguem-se alguns exemplos de tipos de modelos que pode registar através da gestão de pontos finais de modelos:

  • Incorporação de texto e modelos genéricos da Vertex AI
  • Modelo multimodal da Vertex AI (pré-visualização)
  • Modelos de classificação da Vertex AI (pré-visualização)
  • Incorporar modelos fornecidos por fornecedores externos, como a Hugging Face ou a OpenAI
  • Modelos de incorporação de texto alojados de forma personalizada, incluindo modelos autoalojados ou modelos disponíveis através de pontos finais privados
  • Modelos genéricos com uma API baseada em JSON, por exemplo, o modelo facebook/bart-large-mnli alojado no Hugging Face, o modelo gemini-pro do Vertex AI Model Garden ou os modelos claude da Anthropic

Exemplos de utilização

Pode chamar os pontos finais do modelo registado para interagir com os dados existentes na sua base de dados para gerar incorporações ou previsões. Seguem-se alguns exemplos de utilização de aplicações:

  • Inferência em tempo real com aplicação de transações: fornece recomendações em tempo real com base no histórico de navegação atual do utilizador e no conteúdo do carrinho.
  • Identificar o sentimento e gerar resumos: para uma base de dados de críticas de clientes, gera resumos ou identifica o sentimento principal de cada crítica.
  • Sistemas de pesquisa e obtenção inteligentes: crie sistemas de pesquisa para uma base de dados de conhecimentos internos e consulte-os através de operadores SQL com tecnologia de IA em vez de palavras-chave.
  • Experiências do utilizador personalizadas: otimize uma plataforma de conteúdo para personalizar dinamicamente o conteúdo apresentado a cada utilizador com base nas suas interações anteriores.

Para mais informações sobre os exemplos de utilização do AlloyDB AI, consulte o artigo Exemplos de utilização do AlloyDB AI.

Como funciona

Pode usar a gestão de pontos finais de modelos para registar um ponto final de modelo que esteja em conformidade com o seguinte:

  • A entrada e a saída do modelo suportam o formato JSON.
  • O modelo pode ser invocado através do protocolo REST.

Quando regista um ponto final do modelo com a gestão de pontos finais do modelo, regista cada ponto final com um ID do modelo exclusivo que forneceu como referência ao modelo.

Pode usar o ID do ponto final do modelo para consultar modelos para fazer o seguinte:

  • Gerar incorporações para traduzir comandos de texto em vetores numéricos. Pode armazenar incorporações geradas como dados vetoriais quando a extensão vector está ativada na base de dados. Para mais informações, consulte o artigo Consultar e indexar incorporações com o pgvector.

  • Gerar incorporações multimodais para traduzir dados multimodais, como texto, imagens e vídeos, em incorporações. (Pré-visualizar)

  • Classificar ou atribuir uma pontuação a uma lista de itens numa consulta com base num critério declarado através da linguagem natural. (Pré-visualizar)

  • Invocar previsões através de SQL.

Conceitos-chave

Antes de começar a usar a gestão de pontos finais de modelos, compreenda os conceitos necessários para se ligar aos modelos e usá-los.

Esquemas

As suas aplicações podem aceder à gestão de pontos finais de modelos através da extensão google_ml_integration. A extensão google_ml_integration inclui funções no esquema public, google_ml e ai. Todas as funções estão incluídas no esquema google_ml, e determinadas funções estão disponíveis nos esquemas public e ai.

Para mais informações sobre esquemas, consulte Esquemas.

Fornecedor do modelo

Fornecedor do modelo indica os fornecedores de alojamento de modelos suportados. A definição do fornecedor do modelo é opcional, mas ajuda na gestão do ponto final do modelo ao identificar o fornecedor e formatar automaticamente os cabeçalhos para modelos suportados.

Para mais informações sobre o fornecedor do modelo, consulte o artigo Fornecedor do modelo.

Tipo de modelo

O tipo de modelo indica o tipo de modelo de IA. A extensão suporta a incorporação de texto, bem como qualquer tipo de modelo genérico. Os tipos de modelos suportados que pode definir quando registar um ponto final do modelo são text-embedding e generic.

A definição do tipo de modelo é opcional quando regista pontos finais de modelos genéricos, uma vez que generic é o tipo de modelo predefinido.

Para mais informações sobre o tipo de modelo, consulte Tipo de modelo.

Autenticação

Os tipos de autenticação indicam o tipo de autenticação que pode usar para se ligar à gestão de pontos finais de modelos através da extensão google_ml_integration. A definição da autenticação é opcional e só é necessária se precisar de autenticação para aceder ao seu modelo.

Para mais informações sobre a autenticação, consulte o artigo Autenticação.

Funções de previsão

As funções de previsão são funções SQL que lhe permitem interagir com modelos de IA a partir da sua base de dados do AlloyDB. Estas funções permitem-lhe usar consultas SQL padrão para enviar dados para um ponto final do modelo e gerar incorporações ou previsões.

Para mais informações sobre as funções de previsão, consulte o artigo Funções de previsão.

Funções do operador

A extensão google_ml_integration inclui as seguintes funções de operador, que usam o Gemini predefinido para consultar através de operadores SQL com tecnologia de IA.

Para mais informações sobre as funções de operador, consulte o artigo Funções de operador.

Funções de transformação

As funções de transformação modificam a entrada para um formato que o modelo compreende e convertem a resposta do modelo no formato esperado pela função de previsão. As funções de transformação são usadas quando regista o ponto final do modelo text-embedding sem suporte incorporado. A assinatura das funções de transformação depende da entrada esperada pelo modelo.

Para mais informações sobre as funções de transformação, consulte o artigo Funções de transformação.

Função de geração de cabeçalho HTTP

A função de geração de cabeçalhos HTTP gera o resultado em pares de valores-chave JSON que são usados como cabeçalhos HTTP. A assinatura da função de previsão define as assinaturas da função de geração de cabeçalhos.

Para mais informações sobre a função de geração de cabeçalhos HTTP, consulte o artigo Função de geração de cabeçalhos HTTP.

O que se segue?