Criar um modelo de ML no BigQuery ML usando o console Google Cloud

Neste documento, mostramos como usar o console Google Cloud para criar um modelo do BigQuery ML.

Funções exigidas

• Para criar um modelo e executar a inferência, você precisa ter as seguintes funções:

  • Editor de dados do BigQuery (roles/bigquery.dataEditor)
  • Usuário do BigQuery (roles/bigquery.user)

Antes de começar

1. No console do Google Cloud , na página do seletor de projetos, selecione ou crie um projeto do Google Cloud .

   Funções necessárias para selecionar ou criar um projeto

   • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
   • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.
   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

2. Verifique se o faturamento está ativado para o projeto do Google Cloud .

3. Ative as APIs BigQuery e BigQuery Connection.

   Funções necessárias para ativar APIs

   Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

   Ativar as APIs

Pré-requisitos específicos do modelo

Antes de criar um modelo, verifique se você atendeu a todos os pré-requisitos para o tipo de modelo que está criando:

• Se você quiser usar uma consulta para selecionar dados de treinamento para um modelo, ela precisa estar disponível como uma consulta salva.

• Os modelos de fatoração de matrizes exigem reservas. Para saber mais informações, consulte Preços.

• Os seguintes modelos remotos exigem uma conexão a recursos do Cloud:

  • Modelos remotos sobre modelos da Vertex AI e de parceiros
  • Modelos remotos em modelos abertos
  • Modelos remotos em serviços de IA do Cloud
  • Modelos remotos sobre modelos personalizados na Vertex AI

  A conta de serviço da conexão também precisa receber determinados papéis, dependendo do tipo de modelo remoto.

• Para importar um modelo, ele precisa estar em um bucket do Cloud Storage.

crie um conjunto de dados

Crie um conjunto de dados do BigQuery para conter seus recursos:

Console

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

   Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

3. No painel Explorer, clique no nome do seu projeto.

4. Clique em Conferir ações > Criar conjunto de dados.

5. Na página Criar conjunto de dados, faça o seguinte:

   1. Em ID do conjunto de dados, digite um nome para o conjunto de dados.

   2. Em Tipo de local, selecione Região ou Multirregião.

      • Se você selecionou Região, escolha um local na lista Região.
      • Se você selecionou Multirregião, escolha EUA ou Europa na lista Multirregião.

   3. Clique em Criar conjunto de dados.

bq

1. Para criar um conjunto de dados, use o comando bq mk com a flag --location:

   bq --location=LOCATION mk -d DATASET_ID

   Substitua:

   • LOCATION: o local do conjunto de dados.
   • DATASET_ID é o ID do conjunto de dados que você está criando.

2. Confirme se o conjunto de dados foi criado:

   bq ls

Criar um modelo treinado internamente ou externamente

Use este procedimento para criar os seguintes tipos de modelos:

• Modelos de série temporal:

  • ARIMA_PLUS
  • ARIMA_PLUS_XREG

• Análise de contribuição: Análise de contribuição

• Classificação:

  • Regressão logística
  • Classificação de árvore aprimorada
  • Classificação de floresta aleatória
  • Classificação de rede neural profunda (DNN)
  • Classificação de amplitude e profundidade
  • Classificação do AutoML

• Regressão:

  • Regressão linear
  • Regressão de árvore aprimorada
  • Regressão de floresta aleatória
  • Regressão de rede neural profunda (DNN)
  • Regressão de amplitude e profundidade
  • Regressão do AutoML

• Clustering: K-means

• Recomendação: fatoração de matrizes

• Redução de dimensionalidade:

  • Análise de componentes principais (PCA)
  • Codificador automático

Esses modelos têm diferentes conjuntos de opções de acordo com o tipo. Embora o ajuste automático do BigQuery ML funcione bem na maioria dos casos, você pode ajustar manualmente o modelo como parte do procedimento. Se quiser fazer isso, consulte a documentação do tipo de modelo para saber mais sobre as opções.

Para criar um modelo:

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

   Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

3. No painel Explorer, clique em Conjuntos de dados e depois no conjunto que você criou.

4. Clique em Ver ações ao lado do conjunto de dados e depois em Criar modelo BQML.

   O painel Criar novo modelo é aberto.

5. Em Nome do modelo, digite um nome para o modelo.

6. Se quiser criar uma consulta salva que contenha a instrução CREATE MODEL para o modelo, selecione Salvar consulta .

   1. Em Nome da consulta, digite um nome para a consulta salva.
   2. Em Região, escolha uma região para a consulta salva.

7. Clique em Continuar.

8. Na seção Método de criação, selecione Treinar um modelo no BigQuery.

9. Na seção Objetivo da modelagem, selecione um objetivo para o modelo.

10. Clique em Continuar.

11. Na página Opções de modelo, selecione um tipo de modelo. O tipo de modelo que você pode selecionar varia de acordo com o objetivo de modelagem escolhido.

12. Na seção Dados de treinamento, faça o seguinte:

    • Selecione Tabela/Visualização para receber dados de treinamento de uma tabela ou visualização e, em seguida, selecione o projeto, o conjunto de dados e o nome da visualização ou tabela.
    • Selecione Consulta para receber dados de treinamento de uma consulta salva e, em seguida, selecione a consulta salva.

13. Em Colunas de rótulo de entrada selecionadas, escolha as colunas da tabela, visualização ou consulta que você quer usar como entrada para o modelo.

14. Se houver uma seção Opções obrigatórias, especifique as informações da coluna solicitada:

    • Para modelos de classificação e regressão, em INPUT_LABEL_COLS, selecione a coluna que contém os dados de rótulo.

    • Para modelos de fatoração de matrizes, selecione o seguinte:

      • Em RATING_COL, selecione a coluna que contém os dados de classificação.
      • Em USER_COL, selecione a coluna que contém os dados do usuário.
      • Em ITEM_COL, selecione a coluna que contém os dados do item.

    • Para modelos de previsão de série temporal, selecione o seguinte:

      • Em TIME_SERIES_TIMESTAMP_COL, selecione a coluna que contém os pontos de tempo a serem usados no treinamento do modelo.
      • Em TIME_SERIES_DATA_COL, selecione a coluna que contém os dados para previsão.

15. Opcional: na seção Opcional, especifique valores para outros argumentos de ajuste do modelo. Os argumentos disponíveis variam de acordo com o tipo de modelo que você está criando.

16. Opcional: se houver uma seção Ajuste de hiperparâmetros, especifique a opção NUM_TRIALS para ativar o [ajuste de hiperparâmetros](/bigquery/docs/hyperparameter-tuning-tutorial) do modelo. Os argumentos disponíveis para ajuste de hiperparâmetros variam de acordo com o tipo de modelo que você está criando.

17. Clique em Criar modelo.

18. Quando a criação do modelo for concluída, clique em Acessar modelo para conferir os detalhes.

Criar um modelo remoto em um modelo pré-treinado

Use este procedimento para criar os seguintes tipos de modelos remotos:

• Modelos na Vertex AI ou modelos de parceiros
• Modelos em vez de modelos abertos

Para criar um modelo:

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, clique em Conjuntos de dados e depois no conjunto que você criou.

4. Clique em Ver ações ao lado do conjunto de dados e depois em Criar modelo BQML.

   O painel Criar novo modelo é aberto.

5. Em Nome do modelo, digite um nome para o modelo.

6. Se quiser criar uma consulta salva que contenha a instrução CREATE MODEL para o modelo, selecione Salvar consulta .

   1. Em Nome da consulta, digite um nome para a consulta salva.
   2. Em Região, escolha uma região para a consulta salva.

7. Clique em Continuar.

8. Na seção Método de criação, selecione Conectar ao serviço LLM da Vertex AI e aos serviços da IA do Google Cloud.

9. Na página Opções de modelo, selecione Modelos do Google e de parceiros ou Modelos abertos, conforme apropriado para seu caso de uso.

10. Na seção Conexão remota, faça o seguinte:

    • Se você tiver uma conexão padrão configurada ou se tiver os papéis de administrador do BigQuery e administrador do IAM do projeto, selecione Conexão padrão.

    • Se você não tiver uma conexão padrão configurada ou não tiver os papéis adequados, selecione conexão a recursos do Cloud.

      1. Em Projeto, selecione o projeto que contém a conexão que você quer usar.
      2. Em Local, selecione o local usado pela conexão.

      3. Em Conexão, selecione a conexão a ser usada para o modelo remoto ou Criar nova conexão para criar uma.

         Importante: se você criar uma conexão, conceda os papéis apropriados à conta de serviço dela antes de continuar. Para mais informações sobre quais funções conceder, consulte a documentação de referência do tipo de modelo remoto que você está criando.

11. Na seção Opções obrigatórias, faça o seguinte:

    • Para modelos remotos do Google e de parceiros, especifique o endpoint a ser usado. Esse é o nome do modelo, por exemplo, gemini-2.0-flash. Para mais informações sobre modelos compatíveis, consulte ENDPOINT.
    • Para modelos remotos em modelos abertos, copie e cole o endpoint a ser usado. Este é o endpoint público compartilhado de um modelo implantado na Vertex AI, no formato https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. Para mais informações, consulte ENDPOINT.

12. Clique em Criar modelo.

13. Quando a criação do modelo for concluída, clique em Acessar modelo para conferir os detalhes.

Criar um modelo remoto em um modelo personalizado

Use este procedimento para criar modelos remotos em modelos personalizados implantados na Vertex AI.

Para criar um modelo:

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, clique em Conjuntos de dados e depois no conjunto que você criou.

4. Clique em Ver ações ao lado do conjunto de dados e depois em Criar modelo BQML.

   O painel Criar novo modelo é aberto.

5. Em Nome do modelo, digite um nome para o modelo.

6. Se quiser criar uma consulta salva que contenha a instrução CREATE MODEL para o modelo, selecione Salvar consulta .

   1. Em Nome da consulta, digite um nome para a consulta salva.
   2. Em Região, escolha uma região para a consulta salva.

7. Clique em Continuar.

8. Na seção Método de criação, selecione Conectar aos endpoints da Vertex AI gerenciados pelo usuário.

9. Na seção Conexão remota da página Opções de modelo, faça uma das seguintes ações:

   • Se você tiver uma conexão padrão configurada ou se tiver os papéis de administrador do BigQuery e administrador do IAM do projeto, selecione Conexão padrão.

   • Se você não tiver uma conexão padrão configurada ou não tiver os papéis adequados, selecione conexão a recursos do Cloud.

     1. Em Projeto, selecione o projeto que contém a conexão que você quer usar.
     2. Em Local, selecione o local usado pela conexão.

     3. Em Conexão, selecione a conexão a ser usada para o modelo remoto ou Criar nova conexão para criar uma.

        Importante: se você criar uma conexão, conceda os papéis apropriados à conta de serviço dela antes de continuar. Para mais informações sobre quais funções conceder, consulte a documentação de referência do tipo de modelo remoto que você está criando.

10. Na seção Opções obrigatórias, especifique o endpoint a ser usado. Este é o endpoint público compartilhado de um modelo implantado na Vertex AI, no formato https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. Veja mais informações em ENDPOINT.

11. Clique em Criar modelo.

12. Quando a criação do modelo for concluída, clique em Acessar modelo para conferir os detalhes.

Criar um modelo remoto em um serviço de IA do Google Cloud

Use este procedimento para criar modelos remotos em serviços de IA do Cloud.

Para criar um modelo:

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, clique em Conjuntos de dados e depois no conjunto que você criou.

4. Clique em Ver ações ao lado do conjunto de dados e depois em Criar modelo BQML.

   O painel Criar novo modelo é aberto.

5. Em Nome do modelo, digite um nome para o modelo.

6. Se quiser criar uma consulta salva que contenha a instrução CREATE MODEL para o modelo, selecione Salvar consulta .

   1. Em Nome da consulta, digite um nome para a consulta salva.
   2. Em Região, escolha uma região para a consulta salva.

7. Clique em Continuar.

8. Na seção Método de criação, selecione Conectar ao serviço LLM da Vertex AI e aos serviços da IA do Google Cloud.

9. Na página Opções de modelo, selecione Serviços de IA do Google Cloud.

10. Na seção Conexão remota, faça o seguinte:

    • Se você tiver uma conexão padrão configurada ou se tiver os papéis de administrador do BigQuery e administrador do IAM do projeto, selecione Conexão padrão.

    • Se você não tiver uma conexão padrão configurada ou não tiver os papéis adequados, selecione conexão a recursos do Cloud.

      1. Em Projeto, selecione o projeto que contém a conexão que você quer usar.
      2. Em Local, selecione o local usado pela conexão.

      3. Em Conexão, selecione a conexão a ser usada para o modelo remoto ou Criar nova conexão para criar uma.

         Importante: se você criar uma conexão, conceda os papéis apropriados à conta de serviço dela antes de continuar. Para mais informações sobre quais funções conceder, consulte a documentação de referência do tipo de modelo remoto que você está criando.

11. Na seção Opções obrigatórias, selecione o tipo de serviço de IA do Google Cloud a ser usado.

12. Na seção Opcional, especifique as informações do processador de documentos se você estiver usando o serviço CLOUD_AI_DOCUMENT_V1. Opcionalmente, você pode especificar informações do reconhecedor de voz se estiver usando o serviço CLOUD_AI_SPEECH_TO_TEXT_V2.

13. Clique em Criar modelo.

14. Quando a criação do modelo for concluída, clique em Acessar modelo para conferir os detalhes.

Criar um modelo importado

Use este procedimento para criar modelos do BigQuery ML importando os seguintes tipos de modelos:

• ONNX
• TensorFlow
• TensorFlow Lite
• XGBoost

Para criar um modelo:

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, clique em Conjuntos de dados e depois no conjunto que você criou.

4. Clique em Ver ações ao lado do conjunto de dados e depois em Criar modelo BQML.

   O painel Criar novo modelo é aberto.

5. Em Nome do modelo, digite um nome para o modelo.

6. Se quiser criar uma consulta salva que contenha a instrução CREATE MODEL para o modelo, selecione Salvar consulta .

   1. Em Nome da consulta, digite um nome para a consulta salva.
   2. Em Região, escolha uma região para a consulta salva.

7. Clique em Continuar.

8. Na seção Método de criação, selecione Importar modelo.

9. Na página Opções de modelo, selecione o tipo de modelo que você quer importar.

10. Em Caminho do GCS, procure ou cole o URI do bucket do Cloud Storage que contém o modelo.

11. Clique em Criar modelo.

12. Quando a criação do modelo for concluída, clique em Acessar modelo para conferir os detalhes.