Introdução aos pipelines do BigQuery
É possível usar pipelines do BigQuery para automatizar e simplificar seus processos de dados do BigQuery. Com os pipelines, é possível programar e executar recursos de código em sequência para melhorar a eficiência e reduzir o esforço manual.
Visão geral
Os pipelines são gerados pelo Dataform.
Um pipeline consiste em um ou mais dos seguintes recursos de código:
É possível usar pipelines para programar a execução de recursos de código. Por exemplo, é possível programar uma consulta SQL para ser executada diariamente e atualizar uma tabela com os dados de origem mais recentes, que podem alimentar um painel.
Em um pipeline com vários recursos de código, você define a sequência de execução. Por exemplo, para treinar um modelo de machine learning, você pode criar um fluxo de trabalho em que uma consulta SQL prepara os dados e um notebook subsequente treina o modelo usando esses dados.
Recursos
Em um pipeline, é possível fazer o seguinte:
- Crie ou importe consultas SQL ou notebooks para um pipeline.
- Programe um pipeline para ser executado automaticamente em um horário e frequência especificados.
- Compartilhe um pipeline com usuários ou grupos específicos.
- Compartilhar um link para um pipeline.
Limitações
Os pipelines estão sujeitos às seguintes limitações:
- Os pipelines estão disponíveis apenas no console do Google Cloud .
- Não é possível mudar a região de armazenamento de um pipeline depois que ele é criado.
- É possível conceder acesso a um pipeline selecionado para usuários ou grupos, mas não a tarefas individuais dentro dele.
- Se uma execução programada de pipeline não for concluída antes do início da próxima execução programada, ela será ignorada e marcada com um erro.
Definir a região padrão para recursos de código
Se esta for a primeira vez que você cria um recurso de código, defina a região padrão para recursos de código. Não é possível mudar a região de um recurso de código depois que ele é criado.
Todos os recursos de código no BigQuery Studio usam a mesma região padrão. Para definir a região padrão dos recursos de código, siga estas etapas:
Acessar a página do BigQuery.
No painel Explorer, encontre o projeto em que você ativou os recursos de código.
Clique em Ver ações ao lado do projeto e, em seguida, clique em Mudar minha região de código padrão.
Em Região, selecione a região que você quer usar para recursos de código.
Clique em Selecionar.
Para conferir uma lista de regiões compatíveis, consulte Locais do BigQuery Studio.
Regiões compatíveis
Todos os recursos de código são armazenados na sua região padrão para recursos de código. A atualização da região padrão muda a região de todos os recursos de código criados depois desse ponto.
A tabela a seguir lista as regiões em que os pipelines estão disponíveis:
| Descrição da região | Nome da região | Detalhes | |
|---|---|---|---|
| África | |||
| Johannesburgo | africa-south1 |
||
| América | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Baixo CO2
|
|
| Iowa | us-central1 |
CO2 baixo
|
|
| Las Vegas | us-west4 |
||
| Los Angeles | us-west2 |
||
| México | northamerica-south1 |
||
| Montreal | northamerica-northeast1 |
Baixo CO2
|
|
| Virgínia do Norte | us-east4 |
||
| Oklahoma | us-central2 |
Baixo CO2
|
|
| Oregon | us-west1 |
CO2 baixo |
|
| Salt Lake City | us-west3 |
||
| Santiago | southamerica-west1 |
Baixo CO2
|
|
| São Paulo | southamerica-east1 |
CO2 baixo
|
|
| Carolina do Sul | us-east1 |
||
| Toronto | northamerica-northeast2 |
CO 2 baixo
|
|
| Ásia-Pacífico | |||
| Bangkok | asia-southeast3 |
||
| Délhi | asia-south2 |
||
| Hong Kong | asia-east2 |
||
| Jacarta | asia-southeast2 |
||
| Melbourne | australia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Osaka | asia-northeast2 |
||
| Seul | asia-northeast3 |
||
| Singapura | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tóquio | asia-northeast1 |
||
| Europa | |||
| Bélgica | europe-west1 |
Baixo CO2
|
|
| Berlim | europe-west10 |
||
| Finlândia | europe-north1 |
CO2 baixo
|
|
| Frankfurt | europe-west3 |
||
| Londres | europe-west2 |
Baixo CO2
|
|
| Madri | europe-southwest1 |
Baixo CO2
|
|
| Milão | europe-west8 |
||
| Países Baixos | europe-west4 |
Baixo CO2
|
|
| Paris | europe-west9 |
Baixo CO2
|
|
| Estocolmo | europe-north2 |
Baixo CO2
|
|
| Turim | europe-west12 |
||
| Varsóvia | europe-central2 |
||
| Zurique | europe-west6 |
Baixo CO2
|
|
| Oriente Médio | |||
| Damã | me-central2 |
||
| Doha | me-central1 |
||
| Tel Aviv | me-west1 |
||
Cotas e limites
Os pipelines do BigQuery estão sujeitos às cotas e aos limites do Dataform.
Preços
A execução de tarefas de pipeline do BigQuery gera custos de computação e armazenamento no BigQuery. Para mais informações, consulte preços do BigQuery.
Os pipelines que contêm notebooks geram cobranças de ambiente de execução do Colab Enterprise com base no tipo de máquina padrão. Para detalhes sobre preços, consulte Preços do Colab Enterprise.
Cada execução de pipeline do BigQuery é registrada usando o Cloud Logging. A geração de registros é ativada automaticamente para execuções de pipeline do BigQuery, que podem gerar cobranças de faturamento do Cloud Logging. Para mais informações, consulte os preços do Cloud Logging.
A seguir
- Saiba como criar pipelines.
- Saiba como gerenciar pipelines.
- Saiba como programar pipelines.