Gere texto usando um modelo aberto Gemma e a função AI.GENERATE_TEXT

Este tutorial mostra-lhe como criar um modelo remoto com base no modelo Gemma e, em seguida, como usar esse modelo com a função AI.GENERATE_TEXT para extrair palavras-chave e realizar a análise de sentimentos em críticas de filmes da tabela pública bigquery-public-data.imdb.reviews.

Autorizações necessárias

Para executar este tutorial, precisa das seguintes funções de gestão de identidade e de acesso (IAM):

• Criar e usar conjuntos de dados, ligações e modelos do BigQuery: Administrador do BigQuery (roles/bigquery.admin).
• Conceda autorizações à conta de serviço da ligação: administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin).
• Implementar e anular a implementação de modelos na Vertex AI: administrador da Vertex AI (roles/aiplatform.admin).

Estas funções predefinidas contêm as autorizações necessárias para realizar as tarefas descritas neste documento. Para ver as autorizações exatas necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

• Crie um conjunto de dados: bigquery.datasets.create
• Crie, delegue e use uma associação: bigquery.connections.*
• Defina a ligação predefinida: bigquery.config.*
• Defina as autorizações da conta de serviço: resourcemanager.projects.getIamPolicy e resourcemanager.projects.setIamPolicy
• Implemente e anule a implementação de um modelo do Vertex AI:
  • aiplatform.endpoints.deploy
  • aiplatform.endpoints.undeploy
• Crie um modelo e execute a inferência:
  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Custos

Neste documento, usa os seguintes componentes faturáveis do Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model that's represented by the remote model.

Para gerar uma estimativa de custos com base na sua utilização prevista, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Para mais informações acerca dos preços do BigQuery, consulte os preços do BigQuery na documentação do BigQuery.

Os modelos abertos que implementar no Vertex AI são cobrados por hora de máquina. Isto significa que a faturação começa assim que o ponto final estiver totalmente configurado e continua até o anular. Para mais informações sobre os preços do Vertex AI, consulte a página de preços do Vertex AI.

Antes de começar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie o modelo remoto

Crie um modelo remoto que represente um modelo do Vertex AI alojado:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

CREATE OR REPLACE MODEL `bqml_tutorial.gemma_model`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (
    MODEL_GARDEN_MODEL_NAME = 'publishers/google/models/gemma3@gemma-3-270m-it',
    MACHINE_TYPE = 'g2-standard-12'
  );

A consulta demora até 20 minutos a ser concluída. Após este período, o gemma_model modelo aparece no conjunto de dados bqml_tutorial no painel Explorador. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não existem resultados da consulta.

Realize a extração de palavras-chave

Realize a extração de palavras-chave em críticas de filmes do IMDB usando o modelo remoto e a função AI.GENERATE_TEXT:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, introduza a seguinte declaração para realizar a extração de palavras-chave em 10 críticas de filmes:

   -- This function takes your instruction and wraps it with chat template for
   -- better output quality.
   -- This is usually the recommended way when using Gemma instruction-tuned models.
   CREATE TEMP FUNCTION FormatPromptWithChatTemplate(user_instruction STRING) AS (
     CONCAT(
       '<start_of_turn>user\n',
       user_instruction,
       '<end_of_turn>\n<start_of_turn>model\n'
     )
   );
   
   SELECT
     *
   FROM
     AI.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemma_model`,
       (
         SELECT
           FormatPromptWithChatTemplate(
             'Extract the key words from the movie review below: ' || review)
             AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 10
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens));

   Para mais informações sobre a utilização de modelos de chat com o Gemma, consulte o artigo Formatação e instruções do sistema do Gemma.

   O resultado é semelhante ao seguinte, com as colunas não geradas omitidas para maior clareza:

   +----------------------------------------------+-------------------------+-----------------------------+-----+
   | result                                       | status                  | prompt                      | ... |
   +----------------------------------------------+-------------------------------------------------------+-----+
   | Here are some key words from the             |                         | <start_of_turn>user         |     |
   | movie review: * **Romance:**                 |                         | Extract the key words from  |     |
   | "romantic tryst," "elope" * **Comedy:**      |                         | the movie review below:     |     |
   | "Contrived Comedy" * **Burglary:**           |                         | Linda Arvidson (as Jennie)  |     |
   | "burglar," "rob," "booty" * **Chase:**       |                         | and Harry Solter (as Frank) |     |
   | "chases," "escape" * **Director:** "D.W.     |                         | are enjoying a romantic     |     |
   | Griffith" * **Actors:** "Linda Arvidson,"... |                         | tryst, when in walks her... |     |
   +----------------------------------------------+-------------------------+-----------------------------+-----+
   | Here are some key words from the             |                         | <start_of_turn>user         |     |
   | movie review: * **Elderbush Gilch:** The     |                         | Extract the key words from  |     |
   | name of the movie being reviewed. *          |                         | the movie review below:     |     |
   | **Disappointment:** The reviewer's           |                         | This is the second addition |     |
   | overall feeling about the film. *            |                         | to Frank Baum's personally  |     |
   | **Dim-witted:** Describes the story          |                         | produced trilogy of Oz      |     |
   | line negatively. * **Moronic, sadistic,...   |                         | films. It's essentially ... |     |
   +----------------------------------------------+-------------------------+-----------------------------+-----+
   

   Os resultados incluem as seguintes colunas:

   • result: o texto gerado.
   • status: o estado da resposta da API para a linha correspondente. Se a operação tiver sido bem-sucedida, este valor está vazio.
   • prompt: o comando usado para a análise de sensação geral.
   • Todas as colunas da tabela bigquery-public-data.imdb.reviews.

Realize uma análise de sensação geral

Realize a análise de sentimentos nas críticas cinematográficas do IMDB usando o modelo remoto e a função AI.GENERATE_TEXT:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração para realizar a análise de sentimentos em 10 críticas de filmes:

   -- This function takes your instruction and wraps it with chat template for
   -- better output quality.
   -- This is usually the recommended way when using Gemma instruction-tuned models.
   CREATE TEMP FUNCTION FormatPromptWithChatTemplate(user_instruction STRING) AS (
     CONCAT(
       '<start_of_turn>user\n',
       user_instruction,
       '<end_of_turn>\n<start_of_turn>model\n'
     )
   );
   
   SELECT
     *
   FROM
     AI.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemma_model`,
       (
         SELECT
           FormatPromptWithChatTemplate(
             'Analyze the sentiment of the following movie review and classify it as either POSITIVE or NEGATIVE. \nMovie Review: '
             || review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 10
       ),
       STRUCT(
         0.2 AS temperature,
         128 AS max_output_tokens));

   Para mais informações sobre a utilização de modelos de chat com o Gemma, consulte o artigo Formatação e instruções do sistema do Gemma.

   O resultado é semelhante ao seguinte, com as colunas não geradas omitidas para maior clareza:

   +-----------------------------+-------------------------+-----------------------------+-----+
   | result                      | status                  | prompt                      | ... |
   +-----------------------------+-------------------------------------------------------+-----+
   | **NEGATIVE**                |                         | <start_of_turn>user         |     |
   |                             |                         | Analyze the sentiment of    |     |
   |                             |                         | movie review and classify   |     |
   |                             |                         | it as either POSITIVE or    |     |
   |                             |                         | NEGATIVE. Movie Review:     |     |
   |                             |                         | Although Charlie Chaplin    |     |
   |                             |                         | made some great short       |     |
   |                             |                         | comedies in the late...     |     |
   +-----------------------------+-------------------------+-----------------------------+-----+
   | **NEGATIVE**                |                         | <start_of_turn>user         |     |
   |                             |                         | Analyze the sentiment of    |     |
   |                             |                         | movie review and classify   |     |
   |                             |                         | it as either POSITIVE or    |     |
   |                             |                         | NEGATIVE. Movie Review:     |     |
   |                             |                         | Opulent sets and sumptuous  |     |
   |                             |                         | costumes well photographed  |     |
   |                             |                         | by Theodor Sparkuhl, and... |     |
   +-----------------------------+-------------------------+-----------------------------+-----+
   

   Os resultados incluem as mesmas colunas documentadas para a função Perform keyword extraction.

Anule a implementação do modelo

Se optar por não eliminar o projeto conforme recomendado, tem de anular a implementação do modelo Gemma no Vertex AI para evitar a faturação contínua do mesmo. O BigQuery anula automaticamente a implementação do modelo após um período de inatividade especificado (6,5 horas por predefinição). Em alternativa, pode anular imediatamente a implementação do modelo através da declaração ALTER MODEL, conforme mostrado no exemplo seguinte:

ALTER MODEL `bqml_tutorial.gemma_model`
SET OPTIONS (deploy_model = false);

Para mais informações, consulte o artigo Anulação da implementação automática ou imediata do modelo aberto.

Limpar

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.