Introdução aos pipelines do BigQuery

É possível usar os pipelines do BigQuery para automatizar e simplificar os processos de dados do BigQuery. Com os pipelines, você pode programar e executar recursos de código em sequência para melhorar a eficiência e reduzir o esforço manual.

Visão geral

Os pipelines são gerados pelo Dataform.

Um pipeline consiste em um ou mais dos seguintes recursos de código:

É possível usar pipelines para programar a execução de recursos de código. Por exemplo, você pode programar uma consulta SQL para ser executada diariamente e atualizar uma tabela com os dados de origem mais recentes, que podem ser usados em um painel.

Em um pipeline com vários recursos de código, você define a sequência de execução. Por exemplo, para treinar um modelo de machine learning, é possível criar um fluxo de trabalho em que uma consulta SQL prepara os dados e, em seguida, um notebook treina o modelo usando esses dados.

Recursos

É possível fazer o seguinte em um pipeline:

Limitações

Os pipelines estão sujeitos às seguintes limitações:

  • Os pipelines estão disponíveis apenas no Google Cloud console.
  • Não é possível mudar a região para armazenar um pipeline depois que ele é criado.
  • É possível conceder acesso a um pipeline selecionado, mas não a tarefas individuais dentro dele.
  • Se uma execução programada de pipeline não terminar antes do início da próxima execução programada, a próxima execução programada será ignorada e marcada com um erro.

Definir a região padrão para recursos de código

Todos os novos recursos de código no seu Google Cloud projeto usam uma região padrão. Depois que o recurso é criado, não é possível mudar a região dele.

Para definir a região padrão para novos recursos de código, faça o seguinte:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos:

    Clique em **Arquivos** para abrir o navegador de arquivos.

  3. Ao lado do nome do projeto, clique em Ver ações do painel de arquivos > Mudar região do código.

  4. Selecione a região de código que você quer usar como padrão.

  5. Clique em Salvar.

Para conferir uma lista de regiões compatíveis, consulte Locais do BigQuery Studio.

Regiões compatíveis

Todos os recursos de código são armazenados na região padrão para recursos de código. A atualização da região padrão altera a região de todos os recursos de código criados depois desse ponto.

A tabela a seguir lista as regiões em que os pipelines estão disponíveis:

Descrição da região Nome da região Detalhes
África
Johannesburgo africa-south1
América
Columbus us-east5
Dallas us-south1 Ícone de folha Baixo CO2
Iowa us-central1 Ícone de folha CO2 baixo
Las Vegas us-west4
Los Angeles us-west2
México northamerica-south1
Montreal northamerica-northeast1 Ícone de folha Baixo CO2
Virgínia do Norte us-east4
Oklahoma us-central2 ícone de folha Baixo CO2
Oregon us-west1 Ícone de folha CO2 baixo
Salt Lake City us-west3
Santiago southamerica-west1 ícone de folha Baixo CO2
São Paulo southamerica-east1 Ícone de folha CO2 baixo
Carolina do Sul us-east1
Toronto northamerica-northeast2 Ícone de folha CO 2 baixo
Ásia-Pacífico
Bangkok asia-southeast3
Délhi asia-south2
Hong Kong asia-east2
Jacarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seul asia-northeast3
Singapura asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tóquio asia-northeast1
Europa
Bélgica europe-west1 Ícone de folha Baixo CO2
Berlim europe-west10
Finlândia europe-north1 Ícone de folha CO2 baixo
Frankfurt europe-west3
Londres europe-west2 ícone de folha Baixo CO2
Madri europe-southwest1 Ícone de folha Baixo CO2
Milão europe-west8
Países Baixos europe-west4 Ícone de folha Baixo CO2
Paris europe-west9 Ícone de folha Baixo CO2
Estocolmo europe-north2 ícone de folha Baixo CO2
Turim europe-west12
Varsóvia europe-central2
Zurique europe-west6 Ícone de folha Baixo CO2
Oriente Médio
Damã me-central2
Doha me-central1
Tel Aviv me-west1

Cotas e limites

Os pipelines do BigQuery estão sujeitos a cotas e limites do Dataform.

Preços

A execução de tarefas de pipeline do BigQuery gera custos de computação e armazenamento no BigQuery. Para mais informações, consulte preços do BigQuery.

Os pipelines que contêm notebooks geram custos de ambiente de execução do Colab Enterprise com base no tipo de máquina padrão. Para detalhes sobre preços, consulte Preços do Colab Enterprise.

Cada execução de pipeline do BigQuery é registrada usando Cloud Logging. O registro é ativado automaticamente para execuções de pipeline do BigQuery, o que pode gerar custos de faturamento do Cloud Logging. Para mais informações, consulte os preços do Cloud Logging.

A seguir