Programar pipelines

Neste documento, descrevemos como programar pipelines do BigQuery, incluindo como programar pipelines e inspecionar execuções de pipelines programadas.

Os pipelines são gerados pelo Dataform. Cada programação de pipeline é executada usando as credenciais de usuário da sua Conta do Google ou uma conta de serviço personalizada que você seleciona ao configurar a programação.

As mudanças feitas em um pipeline são salvas automaticamente, mas ficam disponíveis apenas para você e para os usuários que receberam o papel de administrador do Dataform no projeto. Para atualizar a programação com uma nova versão do pipeline, é necessário implantar o pipeline. A implantação atualiza a programação para usar a versão atual do pipeline. As programações sempre executam a versão implantada mais recente.

As programações de pipelines que contêm notebooks usam uma especificação de ambiente de execução padrão. Durante uma execução programada de um pipeline que contém notebooks, o BigQuery grava a saída do notebook no bucket do Cloud Storage selecionado durante a criação da programação.

Antes de começar

Antes de começar, crie um pipeline.

Ativar a programação de pipelines

Para programar pipelines, é necessário conceder o seguinte papel às contas de serviço personalizadas que você planeja usar para as programações de pipelines:

Usuário da conta de serviço (roles/iam.serviceAccountUser)

Siga Conceder um único papel em uma conta de serviço para adicionar a conta de serviço como principal a si mesma. Em outras palavras, adicione a conta de serviço como principal à mesma conta de serviço. Em seguida, conceda o papel de usuário da conta de serviço a esse principal.

Se o pipeline tiver consultas SQL, conceda os seguintes papéis às contas de serviço personalizadas ou Contas do Google que você planeja usar para as programações de pipeline:

Usuário de jobs do BigQuery (roles/bigquery.jobUser)

Siga Conceder um único papel em um projeto para conceder o papel de usuário de jobs do BigQuery às contas de serviço personalizadas ou às Contas do Google em projetos em que os pipelines leem dados.

Visualizador de dados do BigQuery (roles/bigquery.dataViewer)

Siga Conceder um único papel em um projeto para conceder o papel de Leitor de dados do BigQuery às contas de serviço personalizadas ou Contas do Google em projetos em que seus pipelines leem dados.

Editor de dados do BigQuery (roles/bigquery.dataEditor)

Siga Conceder um único papel em um projeto para conceder o papel de Editor de dados do BigQuery às contas de serviço personalizadas ou Contas do Google em projetos em que os pipelines gravam dados.

Se o pipeline tiver notebooks, conceda os seguintes papéis às contas de serviço personalizadas ou Contas do Google que você planeja usar para as programações de pipeline:

Usuário Executor do notebook (roles/aiplatform.notebookExecutorUser)

Siga Conceder um único papel em um projeto para conceder o papel de usuário de executor de notebooks às contas de serviço personalizadas ou às Contas do Google no projeto selecionado.

Administrador do Storage (roles/storage.admin)

Siga as instruções em Adicionar um principal a uma política no nível do bucket para adicionar as contas de serviço personalizadas ou as Contas do Google como principais ao bucket do Cloud Storage que você planeja usar para armazenar a saída de notebooks executados em execuções de pipeline programadas e, em seguida, conceda o papel de administrador do Storage a esses principais.

Além disso, é necessário conceder os seguintes papéis ao agente de serviço padrão do Dataform:

Criador do token da conta de serviço (roles/iam.serviceAccountTokenCreator)

Siga as instruções em Conceder acesso à criação de tokens a uma conta de serviço para adicionar o agente de serviço padrão do Dataform como principal à sua conta de serviço e conceder o papel "Criador de token da conta de serviço" a esse principal.

Usuário da conta de serviço (roles/iam.serviceAccountUser)

Siga as instruções em Conceder ou revogar vários papéis do IAM usando o console do Google Cloud para conceder o papel de usuário da conta de serviço ao agente de serviço padrão do Dataform na conta de serviço personalizada.

Para ativar o enriquecimento de metadados no Knowledge Catalog, é necessário ativar a API Dataplex. Além disso, é necessário conceder o seguinte papel no projeto ou no grupo de entrada @bigquery às contas de serviço personalizadas ou Contas do Google que você planeja usar para programações de pipeline:

Papel de editor de catálogo do Dataplex (roles/dataplex.catalogEditor)

Siga Conceder um único papel em um projeto para conceder o papel de Editor do Dataplex Catalog às contas de serviço personalizadas ou Contas do Google no projeto ou grupo de entrada @bigquery.

Para saber mais sobre contas de serviço no Dataform, consulte Sobre as contas de serviço no Dataform.

Requisitos do VPC Service Controls

Se você usa o VPC Service Controls para proteger seus pipelines, saiba que as execuções programadas são fornecidas pelo Dataform. Ao configurar o VPC Service Controls para execuções programadas, verifique se os seguintes requisitos são atendidos:

• É preciso definir o Serviço de Política da Organização do dataform.restrictGitRemotes.
• O Dataform e o BigQuery precisam ser restritos pelo mesmo perímetro de serviço do VPC Service Controls.
• Para permitir que os usuários se autentiquem com as credenciais da Conta do Google ao programar ou acionar execuções manualmente, adicione as identidades de usuário às regras de entrada. Para mais informações, consulte Como atualizar políticas de entrada e saída de um perímetro de serviço e Referência de regras de entrada.

Para ver as etapas de configuração detalhadas e as considerações de segurança, consulte Configurar o VPC Service Controls para o Dataform.

Funções exigidas

Para receber as permissões necessárias para gerenciar pipelines, peça ao administrador que conceda a você os seguintes papéis do IAM:

• Ver e gerenciar programações:
  • Administrador do Dataform (roles/dataform.admin) no pipeline
  • Editor do Dataform (roles/dataform.editor) no projeto
• Ver e executar pipelines:
  • Leitor do Dataform (roles/dataform.viewer) no projeto
  • Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto
• Executar uma programação de pipeline com credenciais de usuário para uma Conta do Google: Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto
• Executar uma programação de pipeline com uma conta de serviço personalizada: Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada
• Gerenciar programações de pipeline em pastas de usuário:
  • Proprietário do código (roles/dataform.codeOwner) na pasta
  • Editor de código (roles/dataform.codeEditor) na pasta
• Gerenciar programações de pipeline em pastas de equipe:
  • Proprietário da pasta de equipe (roles/dataform.teamFolderOwner) na pasta de equipe
  • Colaborador da pasta de equipe (roles/dataform.teamFolderContributor) na pasta de equipe
• Gerenciar pipelines em repositórios Git: Usuário do OAuth do Developer Connect (roles/developerconnect.oauthUser) no projeto
• Ativar o enriquecimento de metadados: Editor do catálogo do Dataplex (roles/dataplex.catalogEditor) no projeto ou no grupo de entradas @bigquery

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Para aumentar a segurança do agendamento, consulte Implementar permissões de agendamento aprimoradas.

Para mais informações sobre o IAM do Dataform, consulte Controlar o acesso com o IAM.

Para mais informações sobre papéis para pastas, consulte Criar e gerenciar pastas.

Para mais informações sobre papéis para repositórios Git, consulte Gerenciar código com repositórios Git do BigQuery Studio.

Para usar modelos de ambiente de execução de notebook do Colab ao programar pipelines, você precisa do papel de usuário do ambiente de execução de notebook (roles/aiplatform.notebookRuntimeUser).

Criar uma programação de pipeline

Também é possível usar a página Pipelines e conexões para programar um pipeline do Dataform usando um fluxo de trabalho simplificado específico do BigQuery. Esse recurso está na visualização.

Observação: para pipelines armazenados em pastas do Git do BigQuery Studio, o agendamento é gerenciado por meio de implantações do Dataform.

Para criar uma programação de pipeline, siga estas etapas:

Painel Arquivos

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos.

   Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

3. No painel Arquivos, expanda a pasta Usuário ou uma Pasta da equipe e selecione um pipeline.

4. Na barra de ferramentas do Pipeline Viewer, clique em Programar ou Acionar.

5. No painel Programar pipeline, no campo Nome da programação, insira um nome para a programação.

6. Na seção Autenticação, autorize o pipeline com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

   • Para usar as credenciais de usuário da sua Conta do Google (pré-lançamento), selecione Executar com minhas credenciais de usuário.

     Opcional: na seção Opções de acesso estendido, selecione os serviços adicionais que o pipeline exige:

     • Knowledge Catalog: permite Google Cloud atualizações de metadados do Knowledge Catalog.
     • Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
     • Bigtable: permite acesso somente leitura aos dados do Google Bigtable.

   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e escolha uma conta de serviço.

7. Se o pipeline tiver um notebook, na seção Opções do notebook, no campo Modelo de ambiente de execução, selecione um modelo de ambiente de execução de notebook do Colaboratory ou as especificações padrão do ambiente de execução. Para saber como criar um modelo de ambiente de execução de notebook do Colab, consulte Criar um modelo de ambiente de execução.

   Observação:um modelo de ambiente de execução de notebook precisa estar na mesma região que o pipeline.
   Observação:se você não tiver o papel necessário para usar os modelos de ambiente de execução de notebook do Colab, ainda será possível executar e programar pipelines com as especificações de ambiente de execução padrão.

8. Se o pipeline tiver um notebook, na seção Opções do notebook, no campo Bucket do Cloud Storage, clique em Procurar e selecione ou crie um bucket do Cloud Storage para armazenar a saída dos notebooks no pipeline.

   A conta de serviço selecionada precisa receber o papel do IAM "Administrador de armazenamento" no bucket selecionado. Para mais informações, consulte Ativar a programação de pipelines.

9. Em Tipo de configuração, selecione Programação (recorrência com base no tempo).

10. Em Frequência de programação, faça o seguinte:

    1. No menu Repetições, selecione a frequência de execução do pipeline programado.
    2. No campo Em horário, insira o horário das execuções programadas do pipeline.
    3. No menu Fuso horário, selecione o fuso horário da programação.

11. Defina a prioridade do job de consulta do BigQuery com a opção Executar como job interativo com alta prioridade (padrão). Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.

12. Clique em Criar programação. Se você selecionou Executar com minhas credenciais de usuário como método de autenticação, é necessário autorizar sua Conta do Google (pré-lançamento).

Quando você cria a programação, a versão atual do pipeline é implantada automaticamente. Para atualizar a programação com uma nova versão do pipeline, implante o pipeline.

A versão mais recente implantada do pipeline é executada no horário e na frequência selecionados.

Observação :se uma execução de pipeline programada não for concluída antes do início da próxima execução programada, a próxima execução programada será ignorada e marcada com um erro.

Painel Explorer

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

   Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

3. No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.

4. Clique em Programação.

5. No painel Programar pipeline, no campo Nome da programação, insira um nome para a programação.

6. Na seção Autenticação, autorize o pipeline com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

   • Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com minhas credenciais de usuário.

     Opcional: na seção Opções de acesso estendido, selecione os serviços adicionais que o pipeline exige:

     • Knowledge Catalog: permite Google Cloud atualizações de metadados do Knowledge Catalog.
     • Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
     • Bigtable: permite acesso somente leitura aos dados do Google Bigtable.

   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e escolha uma conta de serviço.

7. Se o pipeline tiver um notebook, na seção Opções do notebook, no campo Modelo de ambiente de execução, selecione um modelo de ambiente de execução de notebook do Colaboratory ou as especificações padrão do ambiente de execução. Para saber como criar um modelo de ambiente de execução de notebook do Colab, consulte Criar um modelo de ambiente de execução.

   Observação:um modelo de ambiente de execução de notebook precisa estar na mesma região que o pipeline.
   Observação:se você não tiver o papel necessário para usar os modelos de ambiente de execução de notebook do Colab, ainda será possível executar e programar pipelines com as especificações de ambiente de execução padrão.

8. Se o pipeline tiver um notebook, na seção Opções do notebook, no campo Bucket do Cloud Storage, clique em Procurar e selecione ou crie um bucket do Cloud Storage para armazenar a saída dos notebooks no pipeline.

   A conta de serviço selecionada precisa receber o papel do IAM "Administrador de armazenamento" no bucket selecionado. Para mais informações, consulte Ativar a programação de pipelines.

9. Em Tipo de configuração, selecione Programação (recorrência com base no tempo).

10. Em Frequência de programação, faça o seguinte:

    1. No menu Repetições, selecione a frequência de execução do pipeline programado.
    2. No campo Em horário, insira o horário das execuções programadas do pipeline.
    3. No menu Fuso horário, selecione o fuso horário da programação.

11. Defina a prioridade do job de consulta do BigQuery com a opção Executar como job interativo com alta prioridade (padrão). Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.

12. Clique em Criar programação. Se você selecionou Executar com minhas credenciais de usuário como método de autenticação, será necessário autorizar sua Conta do Google.

Quando você cria a programação, a versão atual do pipeline é implantada automaticamente. Para atualizar a programação com uma nova versão do pipeline, implante o pipeline.

A versão mais recente implantada do pipeline é executada no horário e na frequência selecionados.

Observação: se uma execução de pipeline programada não for concluída antes do início da próxima execução programada, a próxima execução programada será ignorada e marcada com um erro.

Página Programação

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Clique em Criar e selecione Programação do pipeline no menu.

3. No painel Programar pipeline, selecione um pipeline para programar.

4. No campo Nome da programação, insira um nome para a programação.

5. Na seção Autenticação, autorize o pipeline com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

   • Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com minhas credenciais de usuário.

     Opcional: na seção Opções de acesso estendido, selecione os serviços adicionais que o pipeline exige:

     • Knowledge Catalog: permite Google Cloud atualizações de metadados do Knowledge Catalog.
     • Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
     • Bigtable: permite acesso somente leitura aos dados do Google Bigtable.

   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e escolha uma conta de serviço.

6. Se o pipeline tiver um notebook, na seção Opções do notebook, no campo Modelo de ambiente de execução, selecione um modelo de ambiente de execução de notebook do Colab ou as especificações de ambiente de execução padrão. Para detalhes sobre como criar um modelo de ambiente de execução de notebook do Colab, consulte Criar um modelo de ambiente de execução.

   Observação:um modelo de ambiente de execução de notebook precisa estar na mesma região que o pipeline.
   Observação:se você não tiver o papel necessário para usar os modelos de ambiente de execução de notebook do Colab, ainda será possível executar e programar pipelines com as especificações de ambiente de execução padrão.

7. Se o pipeline tiver um notebook, no campo Bucket do Cloud Storage, clique em Procurar e selecione ou crie um bucket do Cloud Storage para armazenar a saída dos notebooks no pipeline.

   A conta de serviço selecionada precisa receber o papel do IAM "Administrador de armazenamento" no bucket selecionado. Para mais informações, consulte Ativar a programação de pipelines.

8. Em Tipo de configuração, selecione Programação (recorrência com base no tempo).

9. Em Frequência de programação, faça o seguinte:

   1. No menu Repetições, selecione a frequência de execução do pipeline programado.
   2. No campo Em horário, insira o horário das execuções programadas do pipeline.
   3. No menu Fuso horário, selecione o fuso horário da programação.

10. Defina a prioridade do job de consulta do BigQuery com a opção Executar como job interativo com alta prioridade (padrão). Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.

11. Clique em Criar programação. Se você selecionou Executar com minhas credenciais de usuário como método de autenticação, será necessário autorizar sua Conta do Google.

Observação: se uma execução de pipeline programada não for concluída antes do início da próxima execução programada, a próxima execução programada será ignorada e marcada com um erro.

Autorizar sua Conta do Google

Para autenticar o recurso com as credenciais de usuário da sua Conta do Google, é preciso conceder permissão manualmente para que os pipelines do BigQuery recebam o token de acesso da sua Conta do Google e acessem os dados de origem em seu nome. É possível conceder aprovação manual com a interface da caixa de diálogo do OAuth. Se você selecionar qualquer uma das Opções de acesso estendido, precisará conceder acesso a esses serviços, como o Google Drive ou o Knowledge Catalog.

Observação :as políticas de acesso baseado no contexto (CAA, na sigla em inglês), incluindo as políticas de conformidade de dispositivos, baseadas em IP e em geolocalização, não são compatíveis com a execução ou o agendamento de pipelines do BigQuery com credenciais de usuário de uma Conta do Google, porque as solicitações de token se originam da infraestrutura do Google. As políticas de CAA bloqueiam essas execuções, a menos que o ID do cliente OAuth do Dataform esteja isento das políticas.

Você só precisa conceder permissão aos pipelines do BigQuery uma vez.

Para revogar a permissão concedida, siga estas etapas:

1. Acesse a página da sua Conta do Google.
2. Clique em Pipelines do BigQuery.
3. Clique em Remover acesso.

Aviso: a revogação de permissões de acesso impede que execuções de pipeline futuras sejam realizadas por esta Conta do Google em todas as regiões.

Alterar o proprietário da programação do pipeline atualizando as credenciais também requer aprovação manual se o novo proprietário da Conta do Google nunca tiver criado uma programação antes.

Se o pipeline tiver um notebook, você também precisará conceder manualmente permissão para que o Colab Enterprise receba o token de acesso da sua Conta do Google e acesse os dados de origem em seu nome. Você só precisa dar permissão uma vez. É possível revogar essa permissão na página da Conta do Google.

Programação baseada em gatilhos

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Observação :para receber suporte ou enviar feedback sobre esse recurso, entre em contato com [e-mail].

É possível configurar pipelines do BigQuery para acionar execuções automaticamente com base em atualizações de tabelas especificadas do BigQuery. É possível criar programações baseadas em gatilhos para automatizar as execuções de pipeline em resposta a mudanças nos dados do BigQuery, em vez de uma programação fixa.

Quando o pipeline detecta mudanças na tabela ou nas tabelas especificadas, ele aciona uma nova execução do fluxo de trabalho associado. É possível definir condições com base em atualizações em uma única tabela, em todo um conjunto de tabelas ou em qualquer uma de um conjunto de tabelas.

Também é possível ajustar as configurações opcionais das programações baseadas em gatilhos para controlar o intervalo mínimo entre os gatilhos do pipeline. Por exemplo, ajuste o valor de Duração mínima da execução para garantir que as programações baseadas em gatilhos não sejam ativadas com mais frequência do que o esperado. Também é possível ajustar o valor de Duração máxima de espera para garantir que a programação baseada em gatilhos seja ativada uma vez dentro dessa duração, mesmo que nenhuma atualização de tabela seja detectada.

Limitações

As programações baseadas em gatilhos estão sujeitas às seguintes limitações:

• As programações baseadas em gatilhos não são instantâneas. Quando você configura uma programação baseada em gatilho, o pipeline verifica o status da tabela do BigQuery aproximadamente uma vez a cada 3 minutos. Esse período é chamado de intervalo de sondagem e pode resultar em um atraso entre uma modificação de tabela e a ativação do gatilho.
• Cada tabela monitorada resulta em chamadas de API para o BigQuery durante cada intervalo de sondagem. O monitoramento de um número muito grande de tabelas pode contribuir para o consumo da cota da API BigQuery.

Criar um gatilho

Para criar um gatilho, siga estas etapas:

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. Abra o pipeline no Pipeline Viewer seguindo um destes procedimentos:

   • No painel à esquerda, clique em Arquivos, abra a pasta Usuário ou uma Pasta da equipe e selecione um pipeline.
   • No painel à esquerda, clique em Explorer, expanda seu projeto, clique em Pipelines e selecione um pipeline.

3. Na barra de ferramentas do Pipeline Viewer, clique em Acionar.

4. No campo Acionador, insira um nome para o acionador.

5. Na seção Autenticação, autorize o pipeline com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

   • Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com minhas credenciais de usuário.

     Opcional: na seção Opções de acesso estendido, selecione os serviços adicionais que o pipeline exige:

     • Knowledge Catalog: permite Google Cloud atualizações de metadados do Knowledge Catalog.
     • Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
     • Bigtable: permite acesso somente leitura aos dados do Google Bigtable.

   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e escolha uma conta de serviço.

6. Se o pipeline tiver um notebook, na seção Opções do notebook, no campo Modelo de ambiente de execução, selecione um modelo de ambiente de execução de notebook do Colaboratory ou as especificações padrão do ambiente de execução. Para saber como criar um modelo de ambiente de execução de notebook do Colab, consulte Criar um modelo de ambiente de execução.

   Observação:um modelo de ambiente de execução de notebook precisa estar na mesma região que o pipeline.
   Observação:se você não tiver o papel necessário para usar os modelos de ambiente de execução de notebook do Colab, ainda será possível executar e programar pipelines com as especificações de ambiente de execução padrão.

7. Se o pipeline tiver um notebook, na seção Opções do notebook, no campo Bucket do Cloud Storage, clique em Procurar e selecione ou crie um bucket do Cloud Storage para armazenar a saída dos notebooks no pipeline.

   A conta de serviço selecionada precisa receber o papel do IAM "Administrador de armazenamento" no bucket selecionado. Para mais informações, consulte Ativar a programação de pipelines.

8. Em Tipo de configuração, selecione Gatilho (execução baseada em eventos).

9. No campo Pesquisar tabelas, adicione uma ou mais tabelas a serem monitoradas para o gatilho.

10. Em Condição do acionador, selecione uma das seguintes opções:

    • Aguarde a atualização de TODAS as tabelas: acione o fluxo de trabalho somente quando todas as tabelas listadas tiverem sido atualizadas desde a última verificação.
    • Acionar se QUALQUER tabela for atualizada: acione esse fluxo de trabalho se alguma das tabelas listadas for atualizada desde a última verificação.

11. (Opcional) Em Duração máxima de espera, insira uma duração para forçar a ativação de um gatilho se nenhuma atualização de tabela for detectada nesse período. Aceita valores entre 1 segundo e 7 dias. Se não for especificado, o fluxo de trabalho só será executado se a tabela monitorada for atualizada e a duração mínima da execução for atendida.

12. (Opcional) Em Duração mínima da execução, selecione uma duração para evitar que os gatilhos sejam ativados com mais frequência do que essa duração mínima. Aceita valores entre 3 minutos e 24 horas. Se não for especificado, o valor padrão será de 3 minutos.

13. Clique em Criar programação. Se você selecionou Executar com minhas credenciais de usuário como método de autenticação, será necessário autorizar sua Conta do Google.

Solução de problemas de programações baseadas em gatilhos

Nesta seção, descrevemos problemas comuns com programações baseadas em gatilhos e como resolvê-los.

Problema: o acionador não está sendo ativado

Resolução:tente uma das seguintes etapas:

• Verifique se as credenciais do usuário ou a conta de serviço têm todas as permissões necessárias.
• Verifique se a tabela especificada do BigQuery está sendo modificada.
• Verifique se o gatilho não está sendo afetado pelo intervalo de pesquisa.
• Verifique se a duração mínima da execução ou o valor de Duração mínima da execução está impedindo execuções mais frequentes. É possível diminuir esse valor para aumentar a frequência de ativação do gatilho.
• Verifique se a opção de condição do acionador (TODOS ou QUALQUER) está afetando a ativação do acionador.
• Analise os registros de auditoria para verificar se há erros quando o Dataform tenta chamar a API BigQuery para verificar o status da tabela monitorada.

Problema: o acionador é ativado com muita frequência

Resolução:ajuste a duração mínima da execução ou o valor de Duração mínima da execução. É possível aumentar esse valor para diminuir a frequência de ativação do gatilho.

Implantar um pipeline

A implantação de um pipeline atualiza a programação ou a configuração de orquestração com a versão atual do pipeline. As execuções programadas sempre executam a versão implantada mais recente do pipeline.

Pipelines de implantação armazenados em pastas

Para implantar pipelines independentes e pipelines armazenados em pastas, siga estas etapas:

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. Abra o pipeline no Pipeline Viewer seguindo um destes procedimentos:

   • No painel à esquerda, clique em Arquivos, expanda a pasta Usuário ou uma pasta da equipe e selecione um pipeline.
   • No painel à esquerda, clique em Explorer, expanda seu projeto, clique em Pipelines e selecione um pipeline.

3. Na barra de ferramentas do Pipeline Viewer, clique em Implantar.

A programação correspondente é atualizada com a versão atual do pipeline. A versão mais recente implantada do pipeline é executada no horário programado.

Implantar pipelines armazenados em repositórios Git

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Os pipelines armazenados em pastas do Git usam as implantações do Dataform para orquestração e programação. Com as implantações, é possível definir configurações de versão, configurações de fluxo de trabalho, substituições de compilação e orquestração de vários ambientes.

Para implantar um pipeline armazenado em um repositório Git:

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Arquivos.

3. Na árvore de arquivos, expanda a pasta do repositório Git conectado e selecione um pipeline ou clique na pasta do repositório Git se for um pipeline de nível raiz.

4. Na barra de ferramentas do Pipeline Viewer, clique em Implantar.

5. Na caixa de diálogo de implantação, defina as configurações de versão, de fluxo de trabalho e de execução.

6. Clique em Implantar.

Para mais informações sobre como configurar implantações, configurações de lançamento e configurações de fluxo de trabalho, consulte Implantações do Dataform.

Desativar uma programação

Para pausar as execuções programadas de um pipeline selecionado sem excluir a programação, desative a programação.

Para desativar uma programação de um pipeline selecionado, siga estas etapas:

Painel Arquivos

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Arquivos.

3. No painel Arquivos, abra a pasta Usuário ou uma Pasta da equipe e selecione um pipeline.

4. Na barra de ferramentas do Pipeline Viewer, clique em Ver gatilho.

5. Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está ativada.

Painel Explorer

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.

4. Clique em Ver gatilho.

5. Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está ativada.

Página Programação

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Clique no nome do pipeline selecionado.

3. Na página de detalhes da programação, clique em Desativar.

Ativar uma programação

Para retomar as execuções programadas de uma programação de pipeline desativada, siga estas etapas:

Painel Arquivos

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Arquivos.

3. No painel Arquivos, abra a pasta Usuário ou uma Pasta da equipe e selecione um pipeline.

4. Na barra de ferramentas do Pipeline Viewer, clique em Ver gatilho.

5. Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está desativada.

Painel Explorer

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.

4. Clique em Ver gatilho.

5. Na tabela de detalhes da programação, na linha Estado da programação, clique no botão A programação está desativada.

Página Programação

1. No console do Google Cloud , acesse a página Programação.

   Acessar "Programação"

2. Clique no nome do pipeline selecionado.

3. Na página de detalhes da programação, clique em Ativar.

Executar manualmente um pipeline implantado

Quando você executa manualmente um pipeline implantado em uma programação selecionada, o BigQuery executa o pipeline implantado uma vez, independente da programação.

Para executar manualmente um pipeline implantado, siga estas etapas:

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Clique no nome da programação de pipeline selecionada.

3. Na página de detalhes da programação, clique em Executar.

Ver todas as programações de pipeline

Para conferir todas as programações de pipeline no projeto do Google Cloud , siga estas etapas:

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Opcional: para mostrar outras colunas com detalhes da programação do pipeline, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

Ver detalhes da programação do pipeline

Para conferir os detalhes de uma programação de pipeline selecionada, siga estas etapas:

Painel Arquivos

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Arquivos.

3. No painel Arquivos, abra a pasta Usuário ou uma Pasta da equipe e selecione um pipeline.

4. Na barra de ferramentas do Pipeline Viewer, clique em Ver gatilho (ou Ver gatilho).

Painel Explorer

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.

4. Clique em Ver gatilho.

Página Programação

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Clique no nome da programação de pipeline selecionada.

Conferir execuções programadas anteriores

Para conferir as execuções anteriores de uma programação de pipeline selecionada, siga estas etapas:

Painel Arquivos

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Arquivos.

3. No painel Arquivos, expanda a pasta Usuário, uma pasta de equipe ou um repositório Git e selecione um pipeline.

4. Na barra de ferramentas do Pipeline Viewer, clique em Execuções.

5. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Painel Explorer

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.

4. Clique em Execuções.

5. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Página Programação

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Clique no nome do pipeline selecionado.

3. Na página Detalhes da programação, na seção Execuções anteriores, inspecione as execuções anteriores.

4. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Editar uma programação de pipeline

Para editar uma programação de pipeline, siga estas etapas:

Painel Arquivos

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Arquivos.

3. No painel Arquivos, abra a pasta Usuário ou uma Pasta da equipe e selecione um pipeline.

4. Na barra de ferramentas do Pipeline Viewer, clique em Ver gatilho e em Editar.

5. Na caixa de diálogo Programar pipeline, edite a programação e clique em Atualizar programação.

Painel Explorer

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, clique em Explorer:

   

3. No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.

4. Clique em Ver gatilho e em Editar.

5. Na caixa de diálogo Programar pipeline, edite a programação e clique em Atualizar programação.

Página Programação

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Clique no nome do pipeline selecionado.

3. Na página Detalhes da programação, clique em Editar.

4. Clique em Ver gatilho e em Editar.

5. Na caixa de diálogo Programar pipeline, edite a programação e clique em Atualizar programação.

Excluir uma programação de pipeline

Para excluir permanentemente uma programação de pipeline, siga estas etapas:

1. No console do Google Cloud , acesse a página Programação.

   Acessar a programação

2. Realize uma das seguintes ações:

   • Clique no nome da programação de pipeline selecionada e, na página Detalhes da programação, clique em Excluir.

   • Na linha que contém a programação de pipeline selecionada, clique em Ver ações na coluna Ações e em Excluir.

3. Na caixa de diálogo exibida, clique em Excluir.

A seguir

• Saiba mais sobre pipelines no BigQuery.
• Saiba como criar pipelines.
• Saiba como gerenciar pipelines.
• Saiba como gerenciar código com repositórios Git do BigQuery Studio.
• Saiba como organizar recursos de código com pastas.
• Saiba mais sobre as implantações do Dataform.