Executar vários jobs do BigQuery em paralelo

O BigQuery hospeda vários conjuntos de dados públicos que estão disponíveis para consulta do público em geral. Neste tutorial, você vai criar um fluxo de trabalho que executa vários jobs de consulta do BigQuery em paralelo, demonstrando uma melhoria no desempenho em comparação com a execução dos jobs em série, um após o outro.

Objetivos

Neste tutorial, você aprenderá a:

1. Execute uma consulta em um conjunto de dados públicos da Wikipédia para determinar os títulos mais visualizados em um mês específico.
2. Implante e execute um fluxo de trabalho que executa vários jobs de consulta do BigQuery em série, um após o outro.
3. Implante e execute um fluxo de trabalho que execute os jobs do BigQuery usando a iteração paralela, em que os loops for comuns são executados em paralelo.

É possível executar os comandos a seguir no console Google Cloud ou usando a Google Cloud CLI no terminal ou no Cloud Shell.

Custos

Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:

• BigQuery
• Workflows

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.

Novos usuários do Google Cloud podem estar qualificados para um teste sem custo financeiro.

Antes de começar

As restrições de segurança definidas pela sua organização podem impedir que você conclua as etapas a seguir. Para informações sobre solução de problemas, consulte Desenvolver aplicativos em um ambiente restrito de Google Cloud .

Console

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflows API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflows API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

gcloud

Faça login na sua Conta do Google.
Se você ainda não tiver uma, inscreva-se agora.
Instale a CLI do Google Cloud.
Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.
Para inicializar a gcloud CLI, execute o seguinte comando:
gcloud init
Crie ou selecione um Google Cloud projeto.
Funções necessárias para selecionar ou criar um projeto
• Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.
Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.
• Crie um projeto do Google Cloud :

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o projeto Google Cloud que você está criando.

• Selecione o projeto Google Cloud que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do projeto do Google Cloud .
Verifique se o faturamento está ativado para o projeto do Google Cloud .
Ative a API Workflows:
Funções necessárias para ativar APIs
Para ativar as APIs, é necessário ter o papel do IAM de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.
gcloud services enable workflows.googleapis.com
Configure a autenticação:
1. Verifique se você tem o papel do IAM de criação de contas de serviço (roles/iam.serviceAccountCreator) e o papel de administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin). Saiba como conceder papéis.

2. Crie a conta de serviço:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   Substitua SERVICE_ACCOUNT_NAME por um nome para a conta de serviço.

3. Conceda papéis à conta de serviço. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM: roles/bigquery.jobUser, roles/logging.logWriter

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

   Substitua:

   • SERVICE_ACCOUNT_NAME: o nome da conta de serviço.
   • PROJECT_ID: o ID do projeto em que você criou a conta de serviço
   • ROLE: o papel a ser concedido
   Observação: a flag --role afeta quais recursos a conta de serviço pode acessar no projeto. É possível revogar esses papéis ou conceder outros papéis posteriormente.

Instale a CLI do Google Cloud.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

Para inicializar a gcloud CLI, execute o seguinte comando:

gcloud init

Crie ou selecione um Google Cloud projeto.

Funções necessárias para selecionar ou criar um projeto

• Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.

Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

• Crie um projeto do Google Cloud :

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o projeto Google Cloud que você está criando.

• Selecione o projeto Google Cloud que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do projeto do Google Cloud .

Verifique se o faturamento está ativado para o projeto do Google Cloud .

Ative a API Workflows:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter o papel do IAM de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

gcloud services enable workflows.googleapis.com

Configure a autenticação:

1. Verifique se você tem o papel do IAM de criação de contas de serviço (roles/iam.serviceAccountCreator) e o papel de administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin). Saiba como conceder papéis.

2. Crie a conta de serviço:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   Substitua SERVICE_ACCOUNT_NAME por um nome para a conta de serviço.

3. Conceda papéis à conta de serviço. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM: roles/bigquery.jobUser, roles/logging.logWriter

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

   Substitua:

   • SERVICE_ACCOUNT_NAME: o nome da conta de serviço.
   • PROJECT_ID: o ID do projeto em que você criou a conta de serviço
   • ROLE: o papel a ser concedido
   Observação: a flag --role afeta quais recursos a conta de serviço pode acessar no projeto. É possível revogar esses papéis ou conceder outros papéis posteriormente.

Executar um job de consulta do BigQuery

No BigQuery, é possível executar um job de consulta interativa (sob demanda). Para mais informações, consulte Como executar jobs de consulta interativos e em lote.

Console

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. Insira a seguinte consulta SQL do BigQuery na área de texto do Editor de consultas:

   SELECT TITLE, SUM(views)
   FROM `bigquery-samples.wikipedia_pageviews.201207h`
   GROUP BY TITLE
   ORDER BY SUM(views) DESC
   LIMIT 100
   

3. Clique em Executar.

bq

No terminal, insira o seguinte comando bq query para executar uma consulta interativa usando a sintaxe SQL padrão:

bq query \
--use_legacy_sql=false \
'SELECT
  TITLE, SUM(views)
FROM
  `bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY
  TITLE
ORDER BY
  SUM(views) DESC
LIMIT 100'

Isso executa uma consulta que retorna os 100 títulos da Wikipédia com mais visualizações em um mês específico e grava a saída em uma tabela temporária.

Observe quanto tempo a consulta leva para ser executada.

Implantar um fluxo de trabalho que executa várias consultas em série

Uma definição de fluxo de trabalho é composta por uma série de etapas descritas usando a sintaxe de fluxos de trabalho. Depois de criar um fluxo de trabalho, implante-o para que ele fique disponível para execução. A etapa de implantação também valida a execução do arquivo de origem.

O fluxo de trabalho a seguir define uma lista de cinco tabelas para executar uma consulta usando o conector do BigQuery do Workflows. As consultas são executadas em série, uma após a outra, e os títulos mais assistidos de cada tabela são salvos em um mapa de resultados.

Console

1. No console Google Cloud , acesse a página Fluxos de trabalho:

   Acessar fluxos de trabalho

2. Clique em Criar.

3. Insira um nome para o novo fluxo de trabalho, como workflow-serial-bqjobs.

4. Escolha uma região apropriada; por exemplo: us-central1.

5. Selecione a conta de serviço que você criou.

   Você já precisa ter concedido os papéis do IAM BigQuery > Usuário de jobs do BigQuery e Logging > Gravador de registros à conta de serviço.

6. Clique em Próxima.

7. No editor de fluxo de trabalho, insira a seguinte definição:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Clique em Implantar.

gcloud

1. Abra um terminal e crie um arquivo de código-fonte para seu fluxo de trabalho:

   touch workflow-serial-bqjobs.yaml

2. Copie o fluxo de trabalho a seguir no arquivo de código-fonte:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Implante o fluxo de trabalho digitando o seguinte comando:

   gcloud workflows deploy workflow-serial-bqjobs \
      --source=workflow-serial-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com

   Substitua MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com pelo e-mail da conta de serviço que você criou.

   Você já deve ter concedido os papéis do IAM roles/bigquery.jobUser e roles/logging.logWriter à conta de serviço.

Executar o fluxo de trabalho e várias consultas em série

Quando um fluxo de trabalho é executado, a definição atual associada a ele também é.

Console

1. No console Google Cloud , acesse a página Fluxos de trabalho:

   Acessar fluxos de trabalho

2. Na página Fluxos de trabalho, selecione o fluxo de trabalho workflow-serial-bqjobs para acessar a página de detalhes dele.

3. Na página Detalhes do fluxo de trabalho, clique em Executar.

4. Clique em Executar novamente.

5. Confira os resultados do fluxo de trabalho no painel Saída.

gcloud

1. Abra um terminal.

2. Execute o fluxo de trabalho:

    gcloud workflows run workflow-serial-bqjob

A execução do fluxo de trabalho deve levar aproximadamente um minuto ou cinco vezes o tempo de execução anterior. O resultado vai incluir cada tabela e será semelhante a esta:

{
  "201201h": {
    "title": "Special:Search",
    "views": "14591339"
  },
  "201202h": {
    "title": "Special:Search",
    "views": "132765420"
  },
  "201203h": {
    "title": "Special:Search",
    "views": "123316818"
  },
  "201204h": {
    "title": "Special:Search",
    "views": "116830614"
  },
  "201205h": {
    "title": "Special:Search",
    "views": "131357063"
  }
}

Implante e execute um fluxo de trabalho que executa várias consultas em paralelo

Em vez de executar cinco consultas em sequência, é possível executá-las em paralelo fazendo algumas mudanças:

 - runQueries:
    parallel:
        shared: [results]
        for:
            value: table
            in: ${tables}

• Uma etapa parallel permite que cada iteração do loop for seja executada em paralelo.

• A variável results é declarada como shared, o que permite que ela seja gravável por uma ramificação, e o resultado de cada ramificação pode ser anexado a ela.

Console

1. No console Google Cloud , acesse a página Fluxos de trabalho:

   Acessar fluxos de trabalho

2. Clique em Criar.

3. Insira um nome para o novo fluxo de trabalho, como workflow-parallel-bqjobs.

4. Escolha uma região apropriada; por exemplo: us-central1.

5. Selecione a conta de serviço que você criou.

6. Clique em Próxima.

7. No editor de fluxo de trabalho, insira a seguinte definição:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Clique em Implantar.

9. Na página Detalhes do fluxo de trabalho, clique em Executar.

10. Clique em Executar novamente.

11. Confira os resultados do fluxo de trabalho no painel Saída.

gcloud

1. Abra um terminal e crie um arquivo de código-fonte para seu fluxo de trabalho:

   touch workflow-parallel-bqjobs.yaml

2. Copie o fluxo de trabalho a seguir no arquivo de código-fonte:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Implante o fluxo de trabalho digitando o seguinte comando:

   gcloud workflows deploy workflow-parallell-bqjobs \
      --source=workflow-parallel-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com

   Substitua MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com pelo e-mail da conta de serviço que você criou.

4. Execute o fluxo de trabalho:

    gcloud workflows run workflow-parallel-bqjobs

O resultado será semelhante à saída anterior, mas a execução do fluxo de trabalho deve levar aproximadamente 20 segundos ou menos.

Limpar

Se você criou um novo projeto para este tutorial, exclua o projeto. Se você usou um projeto atual e quer mantê-lo sem as alterações incluídas neste tutorial, exclua os recursos criados para o tutorial.

Exclua o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No console Google Cloud , acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Excluir recursos do tutorial

Exclua os fluxos de trabalho criados neste tutorial:

gcloud workflows delete WORKFLOW_NAME

A seguir

• Para saber mais sobre etapas paralelas, consulte Executar etapas paralelas.
• Para saber mais sobre os conectores do Workflows, consulte Noções básicas sobre conectores.
• Para saber mais sobre o Workflows, consulte a visão geral do Workflows.