Introdução aos pipelines do BigQuery

É possível usar os pipelines do BigQuery para automatizar e simplificar os processos de dados do BigQuery. Com os pipelines, você pode programar e executar recursos de código em sequência para melhorar a eficiência e reduzir o esforço manual.

Visão geral

Os pipelines são gerados pelo Dataform.

Um pipeline consiste em um ou mais dos seguintes recursos de código:

É possível usar pipelines para programar a execução de recursos de código. Por exemplo, você pode programar uma consulta SQL para ser executada diariamente e atualizar uma tabela com os dados de origem mais recentes, que podem ser usados em um painel.

Em um pipeline com vários recursos de código, você define a sequência de execução. Por exemplo, para treinar um modelo de machine learning, é possível criar um fluxo de trabalho em que uma consulta SQL prepara os dados e, em seguida, um notebook treina o modelo usando esses dados.

Recursos

É possível fazer o seguinte em um pipeline:

Limitações

Os pipelines estão sujeitos às seguintes limitações:

  • Os pipelines estão disponíveis apenas no Google Cloud console.
  • Não é possível mudar a região para armazenar um pipeline depois que ele é criado.
  • É possível conceder acesso a um pipeline selecionado, mas não a tarefas individuais dentro dele.
  • Se uma execução programada de pipeline não terminar antes do início da próxima execução programada, a próxima execução será ignorada e marcada com um erro.

Definir a região padrão para recursos de código

Todos os novos recursos de código no seu Google Cloud projeto usam uma região padrão. Depois que o recurso é criado, não é possível mudar a região dele.

Para definir a região padrão para novos recursos de código, faça o seguinte:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos:

    Clique em **Arquivos** para abrir o navegador de arquivos.

  3. Ao lado do nome do projeto, clique em Ver ações do painel de arquivos > Mudar região do código.

  4. Selecione a região de código que você quer usar como padrão.

  5. Clique em Salvar.

Para conferir uma lista de regiões compatíveis, consulte Locais do BigQuery Studio.

Todos os recursos de código são armazenados na região padrão para recursos de código. A atualização da região padrão muda a região de todos os recursos de código criados depois desse ponto.

Cotas e limites

Os pipelines do BigQuery estão sujeitos a cotas e limites do Dataform.

Preços

A execução de tarefas de pipeline do BigQuery gera custos de computação e armazenamento no BigQuery. Para mais informações, consulte preços do BigQuery.

Os pipelines que contêm notebooks geram custos de ambiente de execução do Colab Enterprise com base no tipo de máquina padrão. Para mais detalhes sobre preços, consulte Preços do Colab Enterprise.

Cada execução de pipeline do BigQuery é registrada usando Cloud Logging. O registro é ativado automaticamente para execuções de pipeline do BigQuery, o que pode gerar custos de faturamento do Cloud Logging. Para mais informações, consulte os preços do Cloud Logging.

A seguir