Fazer previsões com modelos remotos na Vertex AI

Neste tutorial, você vai registrar um endpoint da Vertex AI como um modelo remoto no BigQuery. Em seguida, use a função ML.PREDICT para fazer previsões usando o modelo remoto.

É possível usar modelos remotos quando um modelo é muito grande para ser importado para o BigQuery. Eles também são úteis quando você quer ter um único ponto de inferência para casos de uso on-line, em lote e de microlote.

Observação: para uma versão deste tutorial que usa Python em um notebook do BigQuery, consulte o Tutorial de modelo remoto do BQML no GitHub.

Importar o modelo para o Vertex AI Model Registry

Neste tutorial, você vai usar um modelo pré-treinado do TensorFlow disponível no Cloud Storage em gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/. O bucket do Cloud Storage está no local multirregional US.

O modelo é do TensorFlow e se chama saved_model.pb. É um modelo personalizado de análise de sentimento criado ao ajustar um modelo BERT com avaliações de filmes do IMDB em texto simples. O modelo usa entrada de texto das avaliações de filmes e retorna pontuações de sentimento entre zero e um. Ao importar o modelo para o Model Registry, você usa um contêiner pré-criado do TensorFlow.

Observação: para um tutorial sobre como criar o modelo de exemplo, consulte Classificar texto com BERT na documentação do TensorFlow.

Siga estas etapas para importar o modelo.

1. No console do Google Cloud , acesse a página Model Registry da Vertex AI.

   Acessar o Model Registry

2. Clique em Importar.

3. Para Etapa 1: nome e região, faça o seguinte:

   1. Selecione Importar como novo modelo.

   2. Em Nome, insira bert_sentiment.

   3. Em Descrição, insira BQML tutorial model.

   4. Em Região, selecione us-central1. Você precisa escolher uma região nos EUA porque o bucket do Cloud Storage está no local multirregional US.

   5. Clique em Continuar.

4. Em Etapa 2: configurações do modelo, faça o seguinte:

   1. Selecione Importar artefatos de modelo em um novo contêiner predefinido.

   2. Na seção Configurações de contêiner pré-criado, faça o seguinte:

      1. Em Framework do modelo, escolha TensorFlow.

      2. Em Versão do framework do modelo, escolha 2.15.

      3. Em Tipo de acelerador, escolha GPU.

      4. Em Local do artefato do modelo, insira gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/.

      5. Mantenha os valores padrão de todas as opções restantes e clique em Importar.

Depois que a importação for concluída, o modelo vai aparecer na página Model Registry.

Implantar o modelo em um endpoint da Vertex AI

Siga estas etapas para implantar o modelo em um endpoint.

1. No console Google Cloud , acesse a página Model Registry da Vertex AI.

   Acessar o Model Registry

2. Na coluna Nome, clique em bert_sentiment.

3. Clique na guia Implantar e testar.

4. Clique em Implantar no endpoint.

5. Para a etapa 1, Definir seu endpoint, faça o seguinte:

   1. Clique em Criar novo endpoint.

   2. Em Nome do endpoint, insira bert sentiment endpoint.

   3. Mantenha os outros valores como o padrão e clique em Continuar.

6. Na etapa dois, Configurações do modelo, faça o seguinte:

   1. Na seção Configurações de computação, em Número mínimo de nós de computação, insira 1. Esse é o número de nós que precisam estar disponíveis para o modelo em todos os momentos.

      Observação: em produção, defina o número máximo de nós de computação. Essa opção ativa o recurso de escalonamento automático na Vertex AI, permitindo que o endpoint processe mais solicitações quando a tabela do BigQuery tem um grande número de linhas.

   2. Na seção Opções avançadas de escalonamento, em Tipo de máquina, escolha Padrão (n1-standard-2). Como você escolheu GPU como o tipo de acelerador ao importar o modelo, depois de escolher o tipo de máquina, o tipo e a contagem de aceleradores são definidos automaticamente.

   3. Mantenha os outros valores como o padrão e clique em Implantar.

      Quando o modelo é implantado no endpoint, o status muda para Active.

   4. Copie o ID numérico do endpoint na coluna ID e o valor na coluna Região. Você vai precisar deles mais tarde.

crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar seu modelo de ML.

Console

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar a página do BigQuery

2. No painel Explorer, clique no nome do seu projeto.

3. Clique em Ver ações > Criar conjunto de dados.

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o código do conjunto de dados, insira bqml_tutorial.

   • Em Tipo de local, selecione Multirregião e EUA (várias regiões nos Estados Unidos).

   • Mantenha as configurações padrão restantes e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, utilize o comando bq mk com a sinalização --location. Para obter uma lista completa de parâmetros, consulte a referência comando bq mk --dataset.

1. Crie um conjunto de dados chamado bqml_tutorial com o local dos dados definido como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se você omitir -d e --dataset, o comando vai criar um conjunto de dados por padrão.

2. Confirme se o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Antes de testar esta amostra, siga as instruções de configuração dos BigQuery DataFrames no Guia de início rápido do BigQuery: como usar os BigQuery DataFrames. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para autenticar no BigQuery, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Criar uma conexão de recursos do Cloud do BigQuery

Você precisa ter uma conexão de recursos do Cloud para se conectar a um endpoint da Vertex AI.

Console

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

   Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

3. No painel Explorer, clique em Adicionar dados.

   A caixa de diálogo Adicionar dados é aberta.

4. No painel Filtrar por, na seção Tipo de fonte de dados, selecione Bancos de dados.

   Como alternativa, no campo Pesquisar fontes de dados, insira Vertex AI.

5. Na seção Fontes de dados em destaque, clique em Vertex AI.

6. Clique no card da solução Modelos da Vertex AI: federação do BigQuery.

7. Na lista Tipo de conexão, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (Cloud Resource).

8. No campo ID da conexão, insira bqml_tutorial.

9. Verifique se a opção Multirregião — EUA está selecionada.

10. Clique em Criar conexão.

11. Na parte de baixo da janela, clique em Acessar conexão. Como alternativa, no painel Explorer, clique em Conexões e em us.bqml_tutorial.

12. No painel Informações da conexão, copie o ID da conta de serviço. Você precisa desse ID ao configurar as permissões da conexão. Quando você cria um recurso de conexão, o BigQuery cria uma conta de serviço do sistema exclusiva e a associa à conexão.

bq

1. Criar uma conexão

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Substitua PROJECT_ID pelo Google Cloud ID do projeto. O parâmetro --project_id substitui o projeto padrão.

   Quando você cria um recurso de conexão, o BigQuery cria uma conta de serviço do sistema exclusiva e a associa à conexão.

   Solução de problemas: se você receber o seguinte erro de conexão, atualize o SDK Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupere e copie o ID da conta de serviço para uso em uma etapa posterior:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   O resultado será assim:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Configurar o acesso à conexão

Conceda o papel de usuário da Vertex AI à conta de serviço da conexão de recursos do Cloud. É necessário conceder essa função no mesmo projeto em que você criou o endpoint do modelo remoto.

Observação: se a conexão estiver em um projeto diferente, este erro será retornado: [e-mail] does not have the permission to access resource.

Para conceder o papel, siga estas etapas:

1. Acessar a página AM e administrador

   Acessar IAM e administrador

2. Clique em Conceder acesso.

3. No campo Novos principais, insira o ID da conta de serviço da conexão de recursos do Cloud que você copiou anteriormente.

4. No campo Selecionar um papel, escolha Vertex AI e, em seguida, selecione Usuário da Vertex AI.

5. Clique em Salvar.

Criar um modelo remoto do BigQuery ML

Para criar um modelo remoto do BigQuery ML, use a instrução CREATE MODEL com a cláusula REMOTE WITH CONNECTION. Para mais informações sobre a instrução CREATE MODEL, consulte A instrução CREATE MODEL para modelos remotos em vez de modelos personalizados.

Você cria seu modelo no local multirregional US. Em um conjunto de dados multirregional (US, EU) do BigQuery, só é possível criar um modelo remoto que se conecta a um endpoint implantado em uma região dentro do mesmo local multirregional (US, EU).

Ao criar o modelo remoto, você precisa do ID do endpoint gerado quando implantou o modelo na Vertex AI. Além disso, os nomes e tipos de campo de entrada e saída precisam ser exatamente iguais aos de entrada e saída do modelo da Vertex AI. Neste exemplo, a entrada é um texto STRING, e a saída é um ARRAY do tipo FLOAT64.

Console

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. Em Criar, clique em Consulta SQL.

3. No editor de consultas, insira esta instrução CREATE MODEL e clique em Executar:

   CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')

   Substitua:

   • PROJECT_ID: o nome do projeto.
   • ENDPOINT_ID: o ID do endpoint que você copiou anteriormente.

   Quando a operação for concluída, uma mensagem semelhante a Successfully created model named bert_sentiment será exibida.

   Seu novo modelo vai aparecer no painel Recursos. Os modelos são indicados pelo ícone: .

   Se você selecionar o novo modelo no painel Recursos, as informações sobre o modelo serão exibidas abaixo do Editor de consultas.

bq

1. Crie o modelo remoto inserindo a seguinte instrução CREATE MODEL:

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')"

   Substitua:

   • PROJECT_ID: o nome do projeto.
   • ENDPOINT_ID: o ID do endpoint que você copiou anteriormente.

2. Depois de criar o modelo, verifique se ele aparece no conjunto de dados:

   bq ls -m bqml_tutorial

   O resultado será assim:

   Id               Model Type   Labels    Creation Time
   ---------------- ------------ -------- -----------------
   bert_sentiment                         28 Jan 17:39:43

Receber previsões usando ML.PREDICT

Use a função ML.PREDICT para receber previsões de sentimento do modelo remoto. A entrada é uma coluna de texto (review) que contém avaliações de filmes da tabela bigquery-public-data.imdb.reviews.

Neste exemplo, 10.000 registros são selecionados e enviados para previsão. O modelo remoto tem como padrão um tamanho de lote de 128 instâncias para as solicitações.

Console

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. Na seção Criar novo, clique em Consulta SQL.

3. No editor de consultas, insira esta consulta que usa a função ML.PREDICT e clique em Executar.

   SELECT *
   FROM ML.PREDICT (
       MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
       (
           SELECT review as text
           FROM `bigquery-public-data.imdb.reviews`
           LIMIT 10000
       )
   )

   Os resultados da consulta devem ser parecidos com isto:

   

bq

Digite este comando para executar a consulta que usa ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT (
MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
  (
    SELECT review as text
    FROM `bigquery-public-data.imdb.reviews`
    LIMIT 10000
  )
)'