Vista geral da IA generativa

Este documento descreve as funções de inteligência artificial (IA) generativa que o BigQuery suporta. Estas funções aceitam entradas de linguagem natural e usam modelos do Vertex AI pré-formados e modelos do BigQuery incorporados.

Vista geral

O BigQuery oferece uma variedade de funções de IA para ajudar com tarefas como as seguintes:

  • Gerar conteúdo criativo.
  • Analisar, detetar sentimentos e responder a perguntas sobre texto ou dados não estruturados, como imagens.
  • Resumir as principais ideias ou impressões transmitidas pelo conteúdo.
  • Extraia dados estruturados de texto.
  • Classificar texto ou dados não estruturados em categorias definidas pelo utilizador.
  • Gerar incorporações para pesquisar texto, imagens e vídeos semelhantes.
  • Classificar as entradas para as ordenar por qualidade, semelhança ou outros critérios.

As seguintes categorias de funções de IA ajudam a realizar estas tarefas:

  • Funções de IA de uso geral: estas funções dão-lhe controlo total e transparência na escolha do modelo, comando e parâmetros a usar.

    • Realizar inferência de MDIs, como responder a perguntas sobre os seus dados

      • AI.GENERATE é a função de inferência mais flexível, que lhe permite analisar quaisquer dados não estruturados.
      • AI.GENERATE_TEXT é uma versão com valor de tabela de AI.GENERATE que também suporta modelos de parceiros e modelos abertos.

    • Gerar resultados estruturados, como extrair nomes, moradas ou descrições de objetos de texto, documentos ou imagens.

      • AI.GENERATE, quando especifica um esquema de saída.
      • AI.GENERATE_TABLE é uma versão com valor de tabela de AI.GENERATE que chama um modelo remoto e permite especificar um esquema de saída personalizado.
      • Se o esquema de saída tiver um único campo, pode usar uma das funções especializadas: AI.GENERATE_BOOL, AI.GENERATE_DOUBLE ou AI.GENERATE_INT.

    • Gere incorporações para pesquisa semântica e agrupamento

      • AI.EMBED: criar uma incorporação a partir de dados de texto ou de imagem.
      • AI.GENERATE_EMBEDDING: uma função com valor de tabela que adiciona uma coluna de dados de texto, imagem, áudio, vídeo ou documentos incorporados à sua tabela.

  • Funções de IA geridas: estas funções têm uma sintaxe simplificada e são otimizadas em função do custo e da qualidade. O BigQuery escolhe um modelo por si.

    • Filtre os seus dados com condições de linguagem natural

      • AI.IF

    • Classificar a entrada, por exemplo, por qualidade ou sentimento

      • AI.SCORE

    • Classificar a entrada em categorias definidas pelo utilizador

      • AI.CLASSIFY

  • Funções específicas de tarefas: estas funções usam APIs de IA na nuvem para ajudar a realizar tarefas como processamento de linguagem natural, tradução automática, processamento de documentos, transcrição de áudio e visão computacional.

Funções de IA de utilização geral

As funções de IA de uso geral oferecem controlo total e transparência na escolha do modelo, do comando e dos parâmetros a usar. O resultado inclui informações detalhadas sobre a chamada para o modelo, incluindo o estado e a resposta completa do modelo, que podem incluir informações sobre a classificação de segurança ou citações.

Realize a inferência de MDIs/CEs

A função AI.GENERATE é uma função de inferência flexível que funciona através do envio de pedidos a um modelo do Vertex AI Gemini e da devolução da resposta desse modelo. Pode usar esta função para analisar dados de texto, imagem, áudio, vídeo ou PDF. Por exemplo, pode analisar imagens de mobiliário doméstico para gerar texto para uma coluna design_type, de modo que o SKU do mobiliário tenha uma descrição associada, como mid-century modern ou farmhouse.

Pode executar tarefas de IA generativa usando modelos remotos no BigQuery ML para referenciar modelos implementados ou alojados no Vertex AI com a função com valor de tabela AI.GENERATE_TEXT. Pode usar os seguintes tipos de modelos remotos:

Use os seguintes tópicos para experimentar a geração de texto no BigQuery ML:

Para alguns modelos, pode optar por configurar a ajustamento supervisionado, que lhe permite preparar o modelo com os seus próprios dados para o adequar melhor ao seu exemplo de utilização. Toda a inferência ocorre no Vertex AI. Os resultados são armazenados no BigQuery.

Gere dados estruturados

A geração de dados estruturados é muito semelhante à geração de texto, exceto que pode formatar a resposta do modelo especificando um esquema SQL. Por exemplo, pode gerar uma tabela que contenha o nome, o número de telefone, a morada, o pedido e a estimativa do custo de um cliente a partir da transcrição de uma chamada telefónica.

Pode gerar dados estruturados das seguintes formas:

Gere incorporações

Uma incorporação é um vetor numérico de alta dimensão que representa uma determinada entidade, como um fragmento de texto ou um ficheiro de áudio. A geração de incorporações permite-lhe captar a semântica dos seus dados de uma forma que facilita o raciocínio e a comparação dos dados.

Seguem-se alguns exemplos de utilização comuns para a geração de incorporações:

  • Usar a geração aumentada de recuperação (RAG) para aumentar as respostas do modelo a consultas dos utilizadores, referenciando dados adicionais de uma fonte fidedigna. A RAG oferece uma melhor precisão factual e consistência das respostas, e também oferece acesso a dados mais recentes do que os dados de preparação do modelo.
  • Realizar pesquisa multimodal. Por exemplo, usar a entrada de texto para pesquisar imagens.
  • Realizar uma pesquisa semântica para encontrar itens semelhantes para recomendações, substituição e eliminação de duplicados de registos.
  • Criar incorporações para usar com um modelo k-means para clustering.

Para mais informações sobre como gerar incorporações e usá-las para realizar estas tarefas, consulte a Introdução às incorporações e à pesquisa vetorial.

Funções de IA geridas

As funções de IA geridas são criadas especificamente para automatizar tarefas de rotina, como classificação, ordenação ou filtragem. Estas funções usam o Gemini e não requerem personalização. O BigQuery usa a engenharia de comandos e seleciona o modelo e os parâmetros adequados a usar para a tarefa específica de modo a otimizar a qualidade e a consistência dos seus resultados. Cada função devolve um valor escalar, como BOOL, FLOAT64 ou STRING, e não inclui informações de estado adicionais do modelo. As seguintes funções de IA geridas estão disponíveis:

  • AI.IF: Filtre texto ou dados multimodaais, como numa cláusula WHERE ou JOIN, com base num comando. Por exemplo, pode filtrar as descrições dos produtos por aquelas que descrevem um artigo que seria um bom presente.
  • AI.SCORE: Classifique as entradas com base num comando para classificar as linhas por qualidade, semelhança ou outros critérios. Pode usar esta função numa cláusula ORDER BY para extrair os K principais itens de acordo com a pontuação. Por exemplo, pode encontrar as 10 críticas de utilizadores mais positivas ou negativas de um produto.
  • AI.CLASSIFY: Classificar texto em categorias definidas pelo utilizador. Pode usar esta função numa cláusula GROUP BY para agrupar as entradas de acordo com as categorias que definir. Por exemplo, pode classificar os pedidos de apoio técnico consoante estejam relacionados com a faturação, o envio, a qualidade do produto ou outra situação.

Para ver um tutorial com exemplos de como usar estas funções, consulte o artigo Realize uma análise semântica com funções de IA geridas.

Para um tutorial do bloco de notas que mostra como usar funções de IA geridas e de uso geral, consulte o artigo Análise semântica com funções de IA.

Funções específicas de tarefas

Além das funções mais gerais descritas nas secções anteriores, pode desenvolver soluções específicas de tarefas no BigQuery ML usando as APIs Cloud AI. As tarefas suportadas incluem o seguinte:

Para mais informações, consulte o artigo Vista geral das soluções específicas de tarefas.

Localizações

As localizações suportadas para a geração de texto e os modelos de incorporação variam consoante o tipo e a versão do modelo que usa. Para mais informações, consulte o artigo Localizações.

Preços

São-lhe cobrados os recursos de computação que usa para executar consultas em modelos. Os modelos remotos fazem chamadas aos modelos do Vertex AI, pelo que as consultas aos modelos remotos também incorrem em cobranças do Vertex AI.

Para mais informações, consulte os preços do BigQuery ML.

Monitorize os custos

As funções de IA generativa no BigQuery funcionam através do envio de pedidos ao Vertex AI, o que pode gerar custos. Para acompanhar os custos do Vertex AI incorridos por uma tarefa que executa no BigQuery, siga estes passos:

  1. Veja os seus relatórios de faturação no Cloud Billing.

  2. Use filtros para refinar os resultados.

    Para serviços, selecione Vertex AI.

  3. Para ver os custos de uma tarefa específica, filtre por etiqueta.

    Defina a chave como bigquery_job_id_prefix e o valor como o ID da tarefa da sua tarefa. Se o ID da tarefa tiver mais de 63 carateres, use apenas os primeiros 63 carateres. Se o ID do trabalho contiver carateres em maiúsculas, altere-os para minúsculas. Em alternativa, pode associar trabalhos a uma etiqueta personalizada para os procurar mais tarde.

Algumas cobranças podem demorar até 24 horas a aparecer na faturação do Google Cloud.

Monitorização

Para compreender melhor o comportamento das funções de IA que chama no BigQuery, pode ativar o registo de pedidos e respostas. Para registar todo o pedido e resposta enviados e recebidos do Vertex AI, siga estes passos:

  1. Ative os registos de pedido-resposta no Vertex AI. Os registos são armazenados no BigQuery. Tem de ativar o registo separadamente para cada modelo base e região diferentes. Para registar consultas executadas na região us, especifique a região us-central1 no seu pedido. Para registar consultas executadas na região eu, especifique a região europe-west4 no seu pedido.

  2. Execute uma consulta com uma função de IA que faça uma chamada ao Vertex AI usando o modelo para o qual ativou o registo no passo anterior.

  3. Para ver o pedido e a resposta completos da Vertex AI, consulte a sua tabela de registo para linhas em que o campo labels.bigquery_job_id_prefix da coluna full_request corresponde aos primeiros 63 carateres do seu ID da tarefa. Opcionalmente, pode usar uma etiqueta de consulta personalizada para ajudar a procurar a consulta nos registos.

    Por exemplo, pode usar uma consulta semelhante à seguinte:

    SELECT *
FROM `my_project.my_dataset.request_response_logging`
WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';

O que se segue?