Faça previsões com modelos remotos no Vertex AI

Neste tutorial, regista um ponto final do Vertex AI como um modelo remoto no BigQuery. Em seguida, usa a ML.PREDICT função para fazer previsões com o modelo remoto.

Pode usar modelos remotos quando um modelo é demasiado grande para importar para o BigQuery. Também são úteis quando quer ter um único ponto de inferência para exemplos de utilização online, em lote e em microlotes.

Nota: para uma versão deste tutorial que usa Python num bloco de notas do BigQuery, consulte o tutorial do modelo remoto do BQML no GitHub.

Importe o modelo para o Registo de modelos do Vertex AI

Neste tutorial, vai usar um modelo do TensorFlow pré-formado que está disponível no Cloud Storage em gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/. O contentor do Cloud Storage está na localização US multirregional.

O modelo é um modelo do TensorFlow com o nome saved_model.pb. É um modelo de análise de sentimentos personalizado que foi criado através da otimização de um modelo BERT com críticas cinematográficas do IMDB em texto simples. O modelo usa a entrada de texto das críticas de filmes e devolve pontuações de sentimento entre zero e um. Quando importa o modelo para o Model Registry, usa um contentor do TensorFlow pré-criado.

Nota: para ver um tutorial sobre a criação do modelo de exemplo, consulte o artigo Classifique texto com o BERT na documentação do TensorFlow.

Siga estes passos para importar o modelo.

1. Na Google Cloud consola, aceda à página Registo de modelos do Vertex AI.

   Aceda ao Registo de modelos

2. Clique em Importar.

3. Para o Passo um: nome e região, faça o seguinte:

   1. Selecione Importar como novo modelo.

   2. Em Nome, introduza bert_sentiment.

   3. Em Descrição, introduza BQML tutorial model.

   4. Para Região, selecione us-central1. Tem de escolher uma região sediada nos EUA, porque o contentor do Cloud Storage está na localização US multirregional.

   5. Clique em Continuar.

4. Para o Passo dois: definições do modelo, faça o seguinte:

   1. Selecione Importar artefactos do modelo para um novo contentor pré-criado.

   2. Na secção Definições do contentor pré-criado, faça o seguinte:

      1. Para Estrutura do modelo, escolha TensorFlow.

      2. Para Versão da estrutura do modelo, escolha 2.15.

      3. Para Tipo de acelerador, escolha GPU.

      4. Para Localização do artefacto do modelo, introduza gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/.

      5. Deixe os valores predefinidos para todas as opções restantes e clique em Importar.

Após a conclusão da importação, o modelo é apresentado na página Registo de modelos.

Implemente o modelo num ponto final do Vertex AI

Siga estes passos para implementar o modelo num ponto final.

1. Na Google Cloud consola, aceda à página Registo de modelos do Vertex AI.

   Aceda ao Registo de modelos

2. Na coluna Nome, clique em bert_sentiment.

3. Clique no separador Implementar e testar.

4. Clique em Implementar no ponto final.

5. Para o passo um, Defina o seu ponto final, faça o seguinte:

   1. Clique em Criar novo ponto final.

   2. Para Nome do ponto final, introduza bert sentiment endpoint.

   3. Deixe os restantes valores predefinidos e clique em Continuar.

6. Para o passo dois, Definições do modelo, faça o seguinte:

   1. Na secção Definições de computação, para Número mínimo de nós de computação, introduza 1. Este é o número de nós que têm de estar disponíveis para o modelo em todos os momentos.

      Nota: na produção, deve definir o número máximo de nós de computação. Esta opção ativa a capacidade de dimensionamento automático na Vertex AI e permite que o ponto final processe mais pedidos quando a tabela do BigQuery tiver um grande número de linhas.

   2. Na secção Opções de escalabilidade avançadas, para Tipo de máquina, escolha Padrão (n1-standard-2). Uma vez que escolheu GPU como o tipo de acelerador quando importou o modelo, depois de escolher o tipo de máquina, o tipo de acelerador e a quantidade de aceleradores são definidos automaticamente.

   3. Deixe os restantes valores predefinidos e clique em Implementar.

      Quando o modelo é implementado no ponto final, o estado muda para Active.

   4. Copie o ID numérico do ponto final na coluna ID e o valor na coluna Região. Vai precisar delas mais tarde.

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie uma ligação de recursos do Google Cloud ao BigQuery

Tem de ter uma ligação de recursos da nuvem para se ligar a um ponto final do Vertex AI.

Consola

1. Aceda à página do BigQuery.

   Aceda ao BigQuery

2. No painel esquerdo, clique em Explorador:

   

   Se não vir o painel do lado esquerdo, clique em Expandir painel do lado esquerdo para o abrir.

3. No painel Explorador, clique em Adicionar dados.

   É apresentada a caixa de diálogo Adicionar dados.

4. No painel Filtrar por, na secção Tipo de origem de dados, selecione Bases de dados.

   Em alternativa, no campo Pesquisar origens de dados, pode introduzir Vertex AI.

5. Na secção Origens de dados em destaque, clique em Vertex AI.

6. Clique no cartão da solução Modelos da Vertex AI: federação do BigQuery.

7. Na lista Tipo de ligação, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (recurso da nuvem).

8. No campo ID da associação, introduza bqml_tutorial.

9. Verifique se a opção Várias regiões: EUA está selecionada.

10. Clique em Criar associação.

11. Na parte inferior da janela, clique em Aceder à associação. Em alternativa, no painel Explorador, clique em Ligações e, de seguida, clique em us.bqml_tutorial.

12. No painel Informações de associação, copie o ID da conta de serviço. Precisa deste ID quando configurar as autorizações para a associação. Quando cria um recurso de ligação, o BigQuery cria uma conta de serviço do sistema exclusiva e associa-a à ligação.

bq

1. Crie uma associação:

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Substitua PROJECT_ID pelo ID do seu projeto.Google Cloud O parâmetro --project_id substitui o projeto predefinido.

   Quando cria um recurso de ligação, o BigQuery cria uma conta de serviço do sistema única e associa-a à ligação.

   Resolução de problemas: se receber o seguinte erro de ligação, atualize o SDK do Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Obtenha e copie o ID da conta de serviço para utilização num passo posterior:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   O resultado é semelhante ao seguinte:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Configure o acesso à ligação

Conceda a função de utilizador do Vertex AI à conta de serviço da ligação de recursos da nuvem. Tem de conceder esta função no mesmo projeto onde criou o ponto final do modelo remoto.

Nota: se a ligação estiver num projeto diferente, é devolvido este erro: [e-mail] does not have the permission to access resource.

Para conceder a função, siga estes passos:

1. Aceda à página IAM e administrador.

   Aceda a IAM e administração

2. Clique em Conceder acesso.

3. No campo Novos membros, introduza o ID da conta de serviço da associação de recursos do Google Cloud que copiou anteriormente.

4. No campo Selecionar uma função, escolha Vertex AI e, de seguida, selecione Utilizador da Vertex AI.

5. Clique em Guardar.

Crie um modelo remoto do BigQuery ML

Crie um modelo remoto do BigQuery ML usando a declaração CREATE MODEL com a cláusula REMOTE WITH CONNECTION. Para mais informações sobre a declaração CREATE MODEL, consulte o artigo A declaração CREATE MODEL para modelos remotos sobre modelos personalizados.

Cria o modelo na US localização com várias regiões. Num conjunto de dados multirregional do BigQuery (US, EU), só pode criar um modelo remoto que se ligue a um ponto final implementado numa região na mesma localização multirregional (US, EU).

Quando cria o modelo remoto, precisa do ID do ponto final que foi gerado quando implementou o modelo na Vertex AI. Além disso, os nomes e os tipos dos campos de entrada e saída têm de ser exatamente iguais aos da entrada e saída do modelo do Vertex AI. Neste exemplo, a entrada é um texto STRING e a saída é um ARRAY do tipo FLOAT64.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. Para Criar novo, clique em Consulta SQL.

3. No editor de consultas, introduza esta declaração CREATE MODEL e, de seguida, clique em Executar:

   CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')

   Substitua o seguinte:

   • PROJECT_ID: o nome do seu projeto.
   • ENDPOINT_ID: o ID do ponto final que copiou anteriormente.

   Quando a operação estiver concluída, é apresentada uma mensagem semelhante a Successfully created model named bert_sentiment.

   O novo modelo é apresentado no painel Recursos. Os modelos são indicados pelo ícone de modelo: .

   Se selecionar o novo modelo no painel Recursos, as informações sobre o modelo aparecem abaixo do Editor de consultas.

bq

1. Crie o modelo remoto introduzindo a seguinte CREATE MODELdeclaração:

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')"

   Substitua o seguinte:

   • PROJECT_ID: o nome do seu projeto.
   • ENDPOINT_ID: o ID do ponto final que copiou anteriormente.

2. Depois de criar o modelo, verifique se o modelo aparece no conjunto de dados:

   bq ls -m bqml_tutorial

   O resultado é semelhante ao seguinte:

   Id               Model Type   Labels    Creation Time
   ---------------- ------------ -------- -----------------
   bert_sentiment                         28 Jan 17:39:43

Receba previsões através de ML.PREDICT

Use a função ML.PREDICT para obter previsões de sentimento do modelo remoto. A entrada é uma coluna de texto (review) que contém críticas de filmes da tabela bigquery-public-data.imdb.reviews.

Neste exemplo, são selecionados e enviados 10 000 registos para previsão. O modelo remoto tem por predefinição um tamanho do lote de 128 instâncias para pedidos.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. Na secção Criar novo, clique em Consulta SQL.

3. No editor de consultas, introduza esta consulta que usa a função ML.PREDICT e, de seguida, clique em Executar.

   SELECT *
   FROM ML.PREDICT (
       MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
       (
           SELECT review as text
           FROM `bigquery-public-data.imdb.reviews`
           LIMIT 10000
       )
   )

   Os resultados da consulta devem ter um aspeto semelhante ao seguinte:

   

bq

Introduza este comando para executar a consulta que usa ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT (
MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
  (
    SELECT review as text
    FROM `bigquery-public-data.imdb.reviews`
    LIMIT 10000
  )
)'