Vista geral da IA generativa

Este documento descreve as funções de inteligência artificial (IA) generativa que o BigQuery suporta. Estas funções aceitam entradas de linguagem natural e usam modelos do Vertex AI pré-formados e modelos do BigQuery incorporados.

Vista geral

O BigQuery oferece uma variedade de funções de IA para ajudar com tarefas como as seguintes:

  • Gerar conteúdo criativo.
  • Analisar, detetar sentimentos e responder a perguntas sobre texto ou dados não estruturados, como imagens.
  • Resumir as principais ideias ou impressões transmitidas pelo conteúdo.
  • Extraia dados estruturados de texto.
  • Classificar texto ou dados não estruturados em categorias definidas pelo utilizador.
  • Gerar incorporações para pesquisar texto, imagens e vídeos semelhantes.
  • Classificar as entradas para as ordenar por qualidade, semelhança ou outros critérios.

Existem duas categorias principais de funções de IA para ajudar a realizar estas tarefas:

  • Funções de IA de uso geral: estas funções dão-lhe controlo total e transparência na escolha do modelo, comando e parâmetros a usar.

    • Realizar inferências, como responder a perguntas sobre os seus dados

      • AI.GENERATE é a função de inferência mais flexível, que lhe permite analisar qualquer combinação de texto e dados não estruturados, e permite-lhe gerar dados estruturados que correspondem ao seu esquema personalizado.

      • Se precisar de um resultado de um tipo específico, selecione uma das seguintes funções de inferência mais especializadas:

        • AI.GENERATE_BOOL
        • AI.GENERATE_DOUBLE
        • AI.GENERATE_INT

    • Gerar resultados estruturados, como extrair nomes e moradas de texto não estruturado

      • AI.GENERATE, quando especifica um output_schema
      • AI.GENERATE_TABLE

    • Gere texto com uma versão de função de valor de tabela de AI.GENERATE

      • AI.GENERATE_TEXT

    • Gere incorporações para pesquisa semântica e agrupamento

      • AI.EMBED
      • AI.GENERATE_EMBEDDING
      • AI.SIMILARITY

  • Funções de IA geridas: estas funções têm uma sintaxe simplificada e são otimizadas em função do custo e da qualidade. O BigQuery escolhe um modelo por si.

    • Filtre os seus dados com condições de linguagem natural

      • AI.IF

    • Classificar a entrada, por exemplo, por qualidade ou sentimento

      • AI.SCORE

    • Classificar a entrada em categorias definidas pelo utilizador

      • AI.CLASSIFY

Funções de IA de utilização geral

As funções de IA de uso geral oferecem controlo total e transparência na escolha do modelo, do comando e dos parâmetros a usar. O resultado inclui informações detalhadas sobre a chamada para o modelo, incluindo o estado e a resposta completa do modelo, que podem incluir informações sobre a classificação de segurança ou citações.

Gere dados estruturados

A geração de dados estruturados é muito semelhante à geração de texto, exceto que pode formatar a resposta do modelo especificando um esquema SQL. Por exemplo, pode gerar uma tabela que contenha o nome, o número de telefone, a morada, o pedido e a estimativa do custo de um cliente a partir da transcrição de uma chamada telefónica.

Existem duas formas de gerar dados estruturados:

Gere valores de um tipo específico por linha

Pode usar funções de IA generativa escalares com modelos Gemini para analisar dados em tabelas padrão do BigQuery. Os dados incluem dados de texto e dados não estruturados de colunas que contêm valores ObjectRef. Para cada linha na tabela, estas funções geram resultados que contêm um tipo específico. Por exemplo, pode analisar imagens de mobiliário doméstico para gerar texto para uma coluna design_type, de modo que o SKU do mobiliário tenha uma descrição associada, como mid-century modern ou farmhouse.

Estão disponíveis as seguintes funções de IA:

Quando usa a função AI.GENERATE com modelos Gemini suportados, pode usar o débito processado do Vertex AI para fornecer um débito elevado consistente para pedidos. Para mais informações, consulte o artigo Use o débito aprovisionado da Vertex AI.

Gere texto com um TVF

Pode realizar tarefas de IA generativa através da função com valor de tabela GENERATE_TEXT, que usa modelos remotos no BigQuery ML para referenciar modelos implementados ou alojados na Vertex AI. Pode criar os seguintes tipos de modelos remotos:

Depois de criar um modelo remoto, pode usar a função AI.GENERATE_TEXT para interagir com esse modelo:

  • Para modelos remotos baseados em modelos Gemini, pode fazer o seguinte:

    • Use a função AI.GENERATE_TEXT para gerar texto a partir de um comando que especifica numa consulta ou extrai de uma coluna numa tabela padrão. Quando especifica o comando numa consulta, pode fazer referência aos seguintes tipos de colunas de tabelas no comando:

    • Use a função AI.GENERATE_TEXT para analisar conteúdo de texto, imagem, áudio, vídeo ou PDF de uma tabela de objetos com um comando que fornece como argumento de função.

  • Para todos os outros tipos de modelos remotos, pode usar a função AI.GENERATE_TEXT com um comando que fornece numa consulta ou a partir de uma coluna numa tabela padrão.

Use os seguintes tópicos para experimentar a geração de texto no BigQuery ML:

Pode usar a fundamentação e os atributos de segurança quando usa modelos Gemini com a função AI.GENERATE_TEXT, desde que esteja a usar uma tabela padrão para a entrada. A fundamentação permite que o modelo Gemini use informações adicionais da Internet para gerar respostas mais específicas e factuais. Os atributos de segurança permitem que o modelo Gemini filtre as respostas que devolve com base nos atributos que especificar.

Para alguns modelos, pode optar por configurar a ajustamento supervisionado, que lhe permite preparar o modelo com os seus próprios dados para o adequar melhor ao seu exemplo de utilização. Toda a inferência ocorre no Vertex AI. Os resultados são armazenados no BigQuery.

Para os modelos Gemini suportados, pode usar o débito aprovisionado do Vertex AI para fornecer um débito elevado consistente para pedidos. Para mais informações, consulte o artigo Use o débito aprovisionado da Vertex AI.

Gere incorporações

Uma incorporação é um vetor numérico de alta dimensão que representa uma determinada entidade, como um fragmento de texto ou um ficheiro de áudio. A geração de incorporações permite-lhe captar a semântica dos seus dados de uma forma que facilita o raciocínio e a comparação dos dados.

Seguem-se alguns exemplos de utilização comuns para a geração de incorporações:

  • Usar a geração aumentada de recuperação (RAG) para aumentar as respostas do modelo a consultas dos utilizadores, referenciando dados adicionais de uma fonte fidedigna. A RAG oferece uma melhor precisão factual e consistência das respostas, e também oferece acesso a dados mais recentes do que os dados de preparação do modelo.
  • Realizar pesquisa multimodal. Por exemplo, usar a entrada de texto para pesquisar imagens.
  • Realizar uma pesquisa semântica para encontrar itens semelhantes para recomendações, substituição e eliminação de duplicados de registos.
  • Criar incorporações para usar com um modelo k-means para clustering.

Para mais informações sobre como gerar incorporações e usá-las para realizar estas tarefas, consulte a Introdução às incorporações e à pesquisa vetorial.

Funções de IA geridas

As funções de IA geridas são criadas especificamente para automatizar tarefas de rotina, como a classificação, a ordenação ou a filtragem. Estas funções usam o Gemini e não requerem personalização. O BigQuery usa a engenharia de comandos e seleciona o modelo e os parâmetros adequados a usar para a tarefa específica de modo a otimizar a qualidade e a consistência dos seus resultados. Cada função devolve um valor escalar, como BOOL, FLOAT64 ou STRING, e não inclui informações de estado adicionais do modelo. As seguintes funções de IA geridas estão disponíveis:

  • AI.IF: Filtre texto ou dados multimodaais, como numa cláusula WHERE ou JOIN, com base num comando. Por exemplo, pode filtrar as descrições dos produtos por aquelas que descrevem um artigo que seria um bom presente.
  • AI.SCORE: Classifique as entradas com base num comando para classificar as linhas por qualidade, semelhança ou outros critérios. Pode usar esta função numa cláusula ORDER BY para extrair os K principais itens de acordo com a pontuação. Por exemplo, pode encontrar as 10 críticas de utilizadores mais positivas ou negativas de um produto.
  • AI.CLASSIFY: Classificar texto em categorias definidas pelo utilizador. Pode usar esta função numa cláusula GROUP BY para agrupar as entradas de acordo com as categorias que definir. Por exemplo, pode classificar os pedidos de apoio técnico consoante estejam relacionados com a faturação, o envio, a qualidade do produto ou outra situação.

Para um tutorial que mostra exemplos de como usar estas funções, consulte o artigo Realize uma análise semântica com funções de IA geridas.

Para um tutorial do bloco de notas que mostra como usar funções de IA geridas e de uso geral, consulte o artigo Análise semântica com funções de IA.

Localizações

As localizações suportadas para a geração de texto e os modelos de incorporação variam consoante o tipo e a versão do modelo que usa. Para mais informações, consulte o artigo Localizações.

Preços

São-lhe cobrados os recursos de computação que usa para executar consultas em modelos. Os modelos remotos fazem chamadas aos modelos da Vertex AI, pelo que as consultas em relação a modelos remotos também incorrem em cobranças da Vertex AI.

Para mais informações, consulte os preços do BigQuery ML.

Monitorize os custos

As funções de IA generativa no BigQuery funcionam através do envio de pedidos ao Vertex AI, o que pode gerar custos. Para acompanhar os custos do Vertex AI incorridos por uma tarefa que executa no BigQuery, siga estes passos:

  1. Veja os seus relatórios de faturação no Cloud Billing.

  2. Use filtros para refinar os resultados.

    Para serviços, selecione Vertex AI.

  3. Para ver os custos de uma tarefa específica, filtre por etiqueta.

    Defina a chave como bigquery_job_id_prefix e o valor como o ID da tarefa da sua tarefa. Se o ID da tarefa tiver mais de 63 carateres, use apenas os primeiros 63 carateres. Se o ID do trabalho contiver carateres em maiúsculas, altere-os para minúsculas. Em alternativa, pode associar trabalhos a uma etiqueta personalizada para os procurar mais tarde.

Algumas cobranças podem demorar até 24 horas a aparecer na faturação na nuvem.

O que se segue?