O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Criar pipelines

É possível criar pipelines no BigQuery, que permitem orquestrar e automatizar fluxos de trabalho, como programar consultas SQL, notebooks e tarefas de preparação de dados para serem executados em sequência.

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho sem custos financeiros.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs, if any are not already enabled.

Roles required to enable APIs

Enable the APIs

Requisitos do VPC Service Controls

Se você usa o VPC Service Controls para proteger seus pipelines, saiba que as execuções de pipeline são alimentadas pelo Dataform. Ao configurar o VPC Service Controls para execuções programadas, verifique se os seguintes requisitos são atendidos:

É preciso definir o Serviço de Políticas da Organização do dataform.restrictGitRemotes.
O Dataform e o BigQuery precisam ser restritos pelo mesmo perímetro de serviço do VPC Service Controls.
Para permitir que os usuários se autentiquem com as credenciais da Conta do Google ao programar ou acionar execuções manualmente, adicione as identidades de usuário às regras de entrada. Para mais informações, consulte Como atualizar políticas de entrada e saída de um perímetro de serviço e Referência de regras de entrada.

Para ver as etapas de configuração detalhadas e as considerações de segurança, consulte Configurar o VPC Service Controls para o Dataform.

Papéis necessários para pipelines

Para receber as permissões necessárias para criar pipelines, peça ao administrador que conceda a você os seguintes papéis do IAM:

Para criar pipelines: Criador de código (roles/dataform.codeCreator) no projeto
Para editar e executar pipelines: Editor do Dataform (roles/dataform.editor) no projeto
Para criar pipelines em pastas de usuário:
- Criador de código (roles/dataform.codeCreator) no projeto
- Proprietário do código (roles/dataform.codeOwner) na pasta
- Editor de código (roles/dataform.codeEditor) na pasta
Para criar pipelines em pastas de equipe:
- Colaborador da pasta de equipe (roles/dataform.teamFolderContributor) na pasta de equipe
- Proprietário da pasta de equipe (roles/dataform.teamFolderOwner) na pasta de equipe
Para conectar um repositório Git para pastas do Git: Usuário do OAuth do Developer Connect (roles/developerconnect.oauthUser) no projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre o IAM do Dataform, consulte Controlar o acesso com o IAM.

Para mais informações sobre papéis para pastas, consulte Criar e gerenciar pastas.

Para mais informações sobre papéis para repositórios Git, consulte Gerenciar código com repositórios Git do BigQuery Studio.

Papéis necessários para as opções de notebook

Para receber as permissões necessárias para selecionar um modelo de ambiente de execução nas opções do notebook, peça ao administrador para conceder a você o papel do IAM de Usuário do ambiente de execução do notebook (roles/aiplatform.notebookRuntimeUser) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Se você não tiver esse papel, poderá selecionar a especificação de ambiente de execução de notebook padrão.

Considerações de segurança para pipelines

Como os recursos de código no BigQuery são alimentados pelo Dataform, considere as seguintes implicações de segurança para usuários com acesso a esses recursos:

A visibilidade dos recursos de código é controlada pelas permissões do Dataform no nível do projeto. Os usuários com a permissão dataform.repositories.list, que está incluída nos papéis padrão do BigQuery, como Usuário de jobs do BigQuery, Usuário do BigQuery Studio e Usuário do BigQuery, podem ver todos os recursos de código no painel Explorador do projeto do Google Cloud , independentemente de terem criado esses recursos ou de eles terem sido compartilhados com eles. Para restringir a visibilidade, crie papéis personalizados que excluam a permissão dataform.repositories.list.
Todos os secrets compartilhados com o agente de serviço do Dataform podem ser acessados por usuários que podem editar esses recursos. Para proteger suas credenciais, restrinja o acesso de criação e edição a usuários confiáveis e limite os secrets acessíveis ao agente de serviço do Dataform. Para mais informações, consulte Acesso a secrets durante a instalação do pacote.

Para mais informações, consulte Considerações de segurança para permissões do Dataform.

Definir a região padrão para recursos de código

Todos os novos recursos de código no seu projeto do Google Cloud usam uma região padrão. Depois que o recurso é criado, não é possível mudar a região dele.

Para definir a região padrão para novos recursos de código, faça o seguinte:

Acessar a página do BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos:
Ao lado do nome do projeto, clique em Ver ações do painel de arquivos > Mudar região do código.
Selecione a região de código que você quer usar como padrão.
Clique em Salvar.

Para ver uma lista de regiões com disponibilidade, consulte Locais do BigQuery Studio.

Criar um pipeline

É possível criar e armazenar pipelines das seguintes maneiras:

Em pastas: organize os pipelines em pastas pessoais ou de equipe no painel Arquivos do BigQuery Studio.
Nas pastas do Git do BigQuery Studio (pré-lançamento): hospede, controle versões e gerencie vários pipelines independentes ou de nível raiz em uma pasta com um repositório Git conectado usando o Developer Connect.
Na barra de guias do editor: crie um pipeline no menu + no editor de consultas.
Na página Pipelines e conexões (pré-lançamento): crie um pipeline usando um fluxo de trabalho simplificado e específico do BigQuery.

Criar um pipeline em uma pasta

É possível criar e organizar pipelines diretamente nas suas pastas de usuário pessoais ou nas pastas compartilhadas da equipe no BigQuery Studio. Para mais informações sobre pastas, consulte Organizar recursos de código com pastas.

Para criar um pipeline em uma pasta, siga estas etapas:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos.

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
Siga um destes procedimentos para criar um pipeline:
- Selecione a pasta do usuário ou da equipe em que você quer colocar o pipeline, clique no botão + (Criar) na barra de ferramentas e selecione Pipeline.
- Na árvore de arquivos, clique em Ver ações ao lado do nome de uma pasta e selecione Criar > Pipeline.
- Abra uma pasta para ver o conteúdo dela no painel principal e clique em Criar pipeline.
Na caixa de diálogo de criação, insira um nome para o pipeline.
Clique em Criar. Uma nova pasta de pipeline aparece na árvore de arquivos com o ícone Pipeline.
Clique na pasta do pipeline para abrir o Pipeline Viewer e defina as configurações do pipeline.

Criar um pipeline em um repositório Git

É possível criar e gerenciar pipelines diretamente em pastas integradas ao Git no BigQuery Studio. Uma pasta do Git representa um repositório remoto do GitHub ou do GitLab conectado ao BigQuery Studio usando o Developer Connect. É possível hospedar e organizar vários pipelines independentes em um único repositório Git. Os pipelines de repositório do Git são compatíveis com as implantações do Dataform para programação, configurações de lançamento e orquestração de vários ambientes.

Para criar um pipeline em uma pasta do Git, siga estas etapas:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
Se você ainda não conectou seu repositório Git, crie e conecte um repositório Git do BigQuery Studio.
No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos.
Na árvore de arquivos, localize a pasta do repositório Git conectado ou um diretório aninhado dentro dela.
Clique em Ver ações ao lado do nome da pasta e selecione Criar > Pipeline.
Na caixa de diálogo, insira o nome do pipeline e clique em Salvar.

Um novo diretório de pipeline é criado, inicializado com os arquivos padrão:
- workflow_settings.yaml: configuração do pipeline.
- definitions/actions.yaml: definições de tarefa vazias.
Clique no diretório do pipeline no navegador de arquivos para abrir o Pipeline Viewer.

Criar um pipeline na barra de guias do editor

Para criar um pipeline na barra de guias do editor, siga estas etapas:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
Na barra de guias do painel do editor, clique na seta ao lado do sinal + e clique em Pipeline.
Opcional: para renomear o pipeline, clique no nome dele e digite um novo.
Defina as configurações do pipeline.

Criar um pipeline na página "Pipelines e conexões"

Use a página Pipelines e conexões do BigQuery no console do Google Cloud para criar um pipeline do Dataform que use um fluxo de trabalho simplificado e específico do BigQuery. Esse recurso está na visualização.

Para instruções sobre como criar um pipeline na página Pipelines e conexões do BigQuery, consulte Criar um recurso de integração de dados.

Definir as configurações do pipeline

Para definir as configurações do pipeline, abra-o no Pipeline Viewer, clique na guia Configurações e configure as seguintes seções:

Na seção Autenticação, autorize o pipeline com as credenciais de usuário da sua Conta do Google ou de uma conta de serviço.
- Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com minhas credenciais de usuário.
  
  Opcional: na seção Opções de acesso estendido, selecione os serviços adicionais que seu pipeline exige:
  - Knowledge Catalog: permite Google Cloud atualizações de metadados do Knowledge Catalog.
  - Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
  - Bigtable: permite acesso somente leitura aos dados do Google Bigtable.
    
    Observação : não é possível autenticar execuções baseadas em API com credenciais de usuário. Para executar todas as tarefas em um pipeline usando a API Dataform, configure o pipeline para usar uma conta de serviço.
- Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e, em seguida, selecione uma conta de serviço. Se você precisar criar uma conta de serviço, clique em Nova conta de serviço.
Na seção Local de processamento, selecione um local de processamento para o pipeline.
- Para ativar a seleção automática de um local, selecione Seleção automática de local. Essa opção seleciona um local com base nos conjuntos de dados referenciados na solicitação. O processo de seleção é o seguinte:
  - Se a consulta fizer referência a conjuntos de dados do mesmo local, o BigQuery usará esse local.
  - Se a consulta fizer referência a conjuntos de dados de dois ou mais locais diferentes, um erro vai ocorrer. Para mais detalhes sobre essa limitação, consulte Replicação de conjuntos de dados entre regiões.
  - Se a consulta não fizer referência a nenhum conjunto de dados, o BigQuery vai usar a multirregião US por padrão.
- Para escolher uma região específica, selecione Região e escolha uma região no menu Região. Como alternativa, use a variável de sistema @@location na consulta. Para mais informações, consulte Especificar locais.
- Para escolher uma multirregião, selecione Multirregião e escolha uma multirregião no menu Multirregião.
O local de processamento do pipeline não precisa corresponder ao local de armazenamento padrão dos recursos de código.

Opções do SQLX

Para definir as configurações do SQLX para o pipeline, faça o seguinte na seção Opções do SQLX:

No campo Projeto padrão, insira o nome de um projeto doGoogle Cloud . Esse valor é usado para defaultProject no arquivo workflow_settings.yaml e para defaultDatabase no arquivo dataform.json. O projeto padrão é usado pelas tarefas do pipeline durante a execução.

Observação: o nome do projeto não é validado, então é possível inserir qualquer string não vazia. No entanto, se o projeto não existir, a execução do pipeline vai falhar.
Opcional: no campo Conjunto de dados padrão, pesquise e selecione um conjunto de dados existente. A lista de conjuntos de dados disponíveis é filtrada com base no projeto e no local de processamento selecionados. Esse valor é usado para defaultDataset no arquivo workflow_settings.yaml. O conjunto de dados padrão é usado pelas tarefas do pipeline durante a execução.

Observação : definir o conjunto de dados padrão e, em seguida, alterar a região do pipeline invalida a seleção do conjunto de dados. Mudar o projeto também pode invalidar a seleção do conjunto de dados. Se um determinado conjunto de dados não existir no projeto selecionado, ele será criado.

Opções de notebooks

Para adicionar um notebook ao pipeline, faça o seguinte na seção Opções do notebook:

No campo Modelo de ambiente de execução, aceite o ambiente de execução padrão do notebook ou pesquise e selecione um ambiente de execução atual.
- Para ver as especificações do ambiente de execução padrão, clique na seta adjacente.
- Para criar um novo ambiente de execução, consulte Criar um modelo de ambiente de execução.
Observação: um modelo de ambiente de execução de notebook precisa estar localizado na mesma região que o pipeline que o especifica.
Observação: ao incluir um notebook em um pipeline do BigQuery, não é possível mudar a rede da instância de ambiente de execução da plataforma de agentes do Gemini Enterprise. O ambiente de execução é restrito à rede padrão, e não é possível selecionar uma rede diferente.
No campo Bucket do Cloud Storage, clique em Procurar e selecione ou crie um bucket do Cloud Storage para armazenar a saída dos notebooks no pipeline.
Siga as etapas em Adicionar um principal a uma política no nível do bucket para adicionar a conta de serviço personalizada do Dataform como um principal ao bucket do Cloud Storage que você planeja usar para armazenar a saída de execuções de pipeline programadas e conceda o papel de administrador do Storage (roles/storage.admin) a esse principal.

A conta de serviço personalizada do Dataform selecionada precisa receber o papel do IAM "Administrador de armazenamento" no bucket selecionado.

Adicionar uma tarefa de pipeline

É possível adicionar várias tarefas a um pipeline que executa recursos de código em uma sequência específica.

Os recursos de código compatíveis com os pipelines incluem:

Consultas SQL
Notebooks
Preparações de dados
Tabelas e visualizações (tarefas SQLX)

Convenções de nomenclatura de tarefas

Ao nomear uma tarefa de pipeline, siga estas convenções de nomenclatura:

Os nomes das tarefas só podem conter letras (a-z, A-Z), números (0-9), sublinhados (_) e hifens (-).
Os nomes das tarefas precisam começar com uma letra, um número ou um sublinhado.
Pontos (.) são proibidos em nomes de tarefas. Ao nomear ou renomear uma tarefa, não inclua extensões de arquivo, como .sql ou .py. Se um nome de tarefa contiver um ponto, o botão Executar será desativado.
Os nomes das tarefas podem conter caracteres com um total de até 1.024 bytes UTF-8.
Os nomes das tarefas precisam ser exclusivos no contêiner do pipeline.
Os nomes das tarefas diferenciam maiúsculas de minúsculas.

Adicionar uma tarefa

Para adicionar uma tarefa a um pipeline, siga estas etapas:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Para adicionar um recurso de código, selecione uma das seguintes opções:

Consulta SQL

Você pode criar uma nova consulta ou importar uma existente.

Escolha uma destas opções:
- Clique em Adicionar tarefa e selecione Consulta. Você pode criar uma nova consulta ou importar uma existente.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique com o botão direito do mouse na pasta do pipeline no painel Arquivos e selecione Criar consulta.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique no botão Adicionar tarefa no Pipeline Viewer.
Opcional: no painel Detalhes da tarefa de consulta, no menu Executar depois, selecione uma tarefa para preceder sua consulta.

Criar uma nova consulta

Clique no menu de seta ao lado de Editar consulta e selecione No contexto ou Em uma nova guia.
Pesquise uma consulta.
Selecione um nome de consulta e pressione Enter.
Clique em Salvar.
Opcional: para renomear a consulta, clique no nome dela no painel do pipeline, clique em Editar consulta, clique no nome da consulta atual na parte de cima da tela e digite um novo nome.

Importar uma consulta atual

Clique no menu de seta ao lado de Editar consulta e clique em Importar uma cópia.
Pesquise uma consulta para importar ou selecione uma no painel de pesquisa. Quando você importa uma consulta, o original permanece inalterado porque o arquivo de origem da consulta é copiado para o pipeline.
Clique em Editar para abrir a consulta importada.
Clique em Salvar.

Notebook

É possível criar um notebook ou importar um que já existe. Para mudar as configurações dos modelos de ambiente de execução de notebook, consulte Opções de notebook.

Escolha uma destas opções:
- Clique em Adicionar tarefa e selecione Notebook.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique com o botão direito do mouse na pasta do pipeline no painel Arquivos e selecione Criar notebook.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique no botão Adicionar tarefa no Pipeline Viewer.
1. Opcional: no painel Detalhes da tarefa do notebook, no menu Executar depois, selecione uma tarefa para preceder o notebook.
Criar um notebook
Clique no menu de seta ao lado de Editar notebook e selecione No contexto ou Em uma nova guia.
Pesquise um notebook.
Selecione um nome de notebook e pressione Enter.
Clique em Salvar.
Opcional: para renomear o notebook, clique no nome dele no painel do pipeline, clique em Editar notebook, clique no nome do notebook na parte de cima da tela e digite um novo nome.

Importar um notebook

Clique no menu de seta ao lado de Editar notebook e clique em Importar uma cópia.
Pesquise um notebook para importar ou selecione um no painel de pesquisa. Quando você importa um notebook, o original permanece inalterado porque o arquivo de origem do notebook é copiado para o pipeline.
Para abrir o notebook importado, clique em Editar.
Clique em Salvar.

Preparação de dados

Você pode criar uma nova preparação de dados ou importar uma atual.

Escolha uma destas opções:
- Clique em Adicionar tarefa e selecione Preparação de dados.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique com o botão direito do mouse na pasta do pipeline no painel Arquivos e selecione Criar preparação de dados.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique no botão Adicionar tarefa no Pipeline Viewer.
Opcional: no painel Detalhes da tarefa de preparação de dados, no menu Executar depois, selecione uma tarefa para preceder a preparação de dados.

Criar uma nova preparação de dados

Clique no menu de seta ao lado de Editar preparação de dados e selecione No contexto ou Em uma nova guia.
Pesquise uma preparação de dados.
Selecione um nome para a preparação de dados e pressione Enter.
Clique em Salvar.
Opcional: para renomear a preparação de dados, clique no nome dela no painel do pipeline, clique em Editar preparação de dados, clique no nome na parte de cima da tela e insira um novo nome.

Importar uma preparação de dados

Clique no menu suspenso de seta ao lado de Editar preparação de dados e clique em Importar uma cópia.
Pesquise uma preparação de dados para importar ou selecione uma preparação de dados no painel de pesquisa. Quando você importa uma preparação de dados, o original permanece inalterado porque o arquivo de origem da preparação de dados é copiado para o pipeline.
Para abrir a preparação de dados importados, clique em Editar.
Clique em Salvar.

Tabela

Escolha uma destas opções:

Clique em Adicionar tarefa e selecione Tabela.
Ao trabalhar com pipelines em pastas ou pastas do Git, clique com o botão direito do mouse na pasta do pipeline no painel Arquivos e selecione Criar tabela.
Ao trabalhar com pipelines em pastas ou pastas do Git, clique no botão Adicionar tarefa no Pipeline Viewer.

No painel Criar novo, selecione Tabela ou Tabela incremental.
Verifique o projeto padrão da tabela ou selecione um novo.
Verifique o conjunto de dados padrão da tabela ou selecione um novo.
Insira um nome para a tabela.
No painel de detalhes da tarefa de tabela, clique em Abrir para abrir a tarefa.
Configure a tarefa usando as configurações em Detalhes > Configuração ou no bloco config do editor de código da tabela.

Para mudanças de metadados, use a guia Configuração. Nessa guia, é possível editar um valor específico no bloco config do editor de código, como uma string ou uma matriz, que é formatado como um objeto JavaScript. Usar essa guia ajuda a evitar erros de sintaxe e verificar se as configurações estão corretas.

Opcional: no menu Executar depois, selecione uma tarefa para preceder a tabela.

Também é possível definir os metadados da tarefa do pipeline no bloco config no editor. Para mais informações, consulte Como criar tabelas.

O editor valida o código e mostra o status da validação.

Use a chave metadata para especificar informações para o Knowledge Catalog. Esse processo de enriquecimento é compatível com as seguintes construções de metadados:

Visão geral: documentação e texto de resumo da entrada.
Aspectos genéricos: detalhes semânticos, como informações de sistema e tipo de tabela.

O exemplo de configuração a seguir mostra como adicionar uma visão geral e aspectos de metadados genéricos a uma configuração de tabela para o Knowledge Catalog:

       ```javascript
       config {
       type: "table",
       metadata: {
          overview: "This table provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "fact table"
             }
             }
       }
       }
       ```

Em Detalhes > Consultas compiladas, confira o SQL compilado do código SQLX.
Clique em Executar para executar o SQL no pipeline.
Em Resultados da consulta, inspecione a visualização dos dados.

Ver

Escolha uma destas opções:
- Clique em Adicionar tarefa e selecione Visualizar.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique com o botão direito do mouse na pasta do pipeline no painel Arquivos e selecione Criar visualização.
- Ao trabalhar com pipelines em pastas ou pastas do Git, clique no botão Adicionar tarefa no Pipeline Viewer.
No painel Criar novo, selecione Visualização ou Visualização materializada.
Verifique o projeto padrão da visualização ou selecione um novo projeto.
Verifique o conjunto de dados padrão da visualização ou selecione um novo.
Insira um nome para a visualização.
No painel de detalhes da tarefa, clique em Abrir.
Configure a tarefa usando as configurações em Detalhes > Configuração ou no bloco config do editor de código da visualização.

Opcional: no menu Executar depois, selecione uma tarefa para preceder sua visualização.

Também é possível definir os metadados da tarefa de pipeline no bloco config no editor. Para mais informações, consulte Como criar uma visualização com o Dataform Core.

O editor valida o código e mostra o status da validação.

Use a chave metadata para especificar informações para o Knowledge Catalog. Esse processo de enriquecimento é compatível com as seguintes construções de metadados:

Visão geral: documentação e texto de resumo da entrada.
Aspectos genéricos: detalhes semânticos, como informações de sistema e tipo de tabela.

O exemplo de configuração a seguir mostra como adicionar uma visão geral e aspectos de metadados genéricos a uma configuração de tabela para o Knowledge Catalog:

       ```javascript
       config {
       type: "view",
       metadata: {
          overview: "This view provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "view"
             }
             }
       }
       }
       ```

Em Detalhes > Consultas compiladas, confira o SQL compilado do código SQLX.
Clique em Executar para executar o SQL no pipeline.
Em Resultados da consulta, inspecione a visualização dos dados.

Declarar fonte

Clique em Adicionar tarefa e selecione Declarar origem.
No painel Declarar origem, verifique o projeto padrão da fonte de dados ou selecione um novo projeto.
Verifique o conjunto de dados padrão da fonte de dados ou selecione um novo.
No campo Tabela / Visualização, selecione a tabela ou visualização que você quer usar como fonte de dados.
Clique em Criar.
No painel de detalhes da tarefa de declaração de origem, clique em Abrir para abrir a tarefa.
Configure a fonte de dados usando as configurações em Detalhes > Configuração ou no bloco config do editor de código.

Para mais informações sobre como configurar uma fonte de dados, consulte Declarar uma fonte de dados.

O editor valida o código e mostra o status da validação.

Teste de dados de declaração

Clique em Adicionar tarefa e selecione Teste de qualidade de dados.
No painel Criar novo, verifique o projeto padrão para o teste de qualidade de dados ou selecione um novo projeto.
Verifique o conjunto de dados padrão para o teste de qualidade de dados ou selecione um novo conjunto de dados.
No campo Tabela, insira um nome para o teste de qualidade de dados.
Clique em Criar.
No painel de detalhes da tarefa de teste de qualidade de dados, clique em Abrir para abrir a tarefa.
Configure as declarações para o teste usando as configurações em Detalhes > Configuração ou no bloco config do editor de código.

Para mais informações sobre como configurar declarações, consulte Testar a qualidade de dados.

Opcional: no menu Executar depois, selecione uma tarefa para preceder o teste de qualidade de dados na sequência do pipeline.

O editor valida o código e mostra o status da validação.
Clique em Executar para executar o teste de qualidade de dados como parte da sequência do pipeline.

Teste de unidade

Clique em Adicionar tarefa e selecione Teste de unidade.
No campo Ação para testar, selecione a tabela ou visualização que você quer testar.
No campo Teste de unidade do BigQuery, insira um nome para o teste de unidade.
Clique em Criar.
No painel de detalhes da tarefa, clique em Abrir para abrir o teste de unidade.
Configure as entradas e as linhas de saída esperadas para o teste de unidade.

Para mais informações sobre como configurar testes de unidade, consulte Qualidade de dados de teste.
Opcional: para garantir que as entradas e saídas sejam as esperadas, clique em Executar tarefa e selecione as instruções esperadas ou reais.
Clique em Executar para executar o teste de qualidade de dados como parte da sequência do pipeline.

Editar uma tarefa de pipeline

Para editar uma tarefa de pipeline, siga estas etapas:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique na tarefa selecionada.
Para mudar a tarefa anterior, no menu Executar depois, selecione uma tarefa que vai preceder a sua.
Para editar o conteúdo da tarefa selecionada, clique em Editar.
Na nova guia que será aberta, edite o conteúdo da tarefa e salve as alterações.

Excluir uma tarefa de pipeline

Para excluir uma tarefa de um pipeline, siga estas etapas:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique na tarefa selecionada.
No painel Detalhes da tarefa, clique em Excluir Excluir.

Compartilhar um pipeline

Para compartilhar um pipeline, siga estas etapas:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique em Compartilhar e selecione Gerenciar permissões.
Clique em Adicionar usuário/grupo.
No campo Novos principais, insira o nome de pelo menos um usuário ou grupo.
Em Atribuir papéis, selecione um papel.
Clique em Salvar.

Compartilhar um link para um pipeline

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique em Compartilhar e selecione Compartilhar link. O URL do pipeline é copiado para a área de transferência do computador.

Executar um pipeline

Ao executar um pipeline, é possível executar todas as tarefas dele, selecionar manualmente tarefas específicas para execução, executar tarefas com tags selecionadas ou executar testes de unidade.

Executar todas as tarefas em um pipeline

Para executar manualmente a versão atual de um pipeline, selecione uma das seguintes opções:

Console

Para executar todas as tarefas em um pipeline, faça o seguinte:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique em Run > Run all tasks. Se você selecionou Executar com minhas credenciais de usuário para sua autenticação, é necessário autorizar sua Conta do Google.
Opcional: para inspecionar a execução, confira as execuções manuais anteriores.

API

Para executar um pipeline manualmente, compile o espaço de trabalho padrão e use o resultado da compilação para criar uma invocação de fluxo de trabalho.

Para criar um resultado de compilação para o espaço de trabalho padrão, use o método projects.locations.repositories.compilationResults.create.

Execute a solicitação de API com as seguintes informações:
```
curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -d '{
      "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/default"
   }' \
   "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"
```
Substitua:
- LOCATION: a região do Google Cloud para o repositório, por exemplo, us-central1. Encontre o local do repositório no console do Google Cloud navegando até o painel Explorer, selecionando o pipeline, abrindo a guia Configurações e clicando em Abrir pipeline no Dataform. O local está no URL no formato /locations/LOCATION/.
- PROJECT_ID: o identificador exclusivo do seu projeto doGoogle Cloud .
- REPOSITORY_ID: o identificador exclusivo do repositório do Dataform, por exemplo, my-secure-repo. Para encontrar o ID do repositório no console do Google Cloud , acesse o painel Explorer, selecione o pipeline, abra a guia Configurações e confira o campo ID do repositório do Dataform.
No corpo da resposta, localize o campo name e copie o valor dele, por exemplo, projects/my-project/locations/us-central1/repositories/my-repo/compilationResults/12345-67890.
Acione a execução do pipeline usando o método projects.locations.repositories.workflowInvocations.create.

Execute a solicitação de API com as seguintes informações:
```
curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -d '{
      "compilationResult": "COMPILATION_RESULT"
   }' \
   "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"
```
Substitua:
- COMPILATION_RESULT: o nome completo do recurso do resultado da compilação que você copiou na etapa anterior.
- LOCATION: a região do Google Cloud para o repositório, por exemplo, us-central1.
- PROJECT_ID: o identificador exclusivo do seu projeto doGoogle Cloud .
- REPOSITORY_ID: o identificador exclusivo do repositório do Dataform, por exemplo, my-secure-repo.

Executar tarefas selecionadas em um pipeline

Para executar tarefas selecionadas em um pipeline, faça o seguinte:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique em Executar > Selecionar tarefas para executar.
No painel Executar, na seção Autenticação, autorize a execução com as credenciais de usuário da sua Conta do Google ou de uma conta de serviço.
- Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com credenciais de usuário.
```
Optional: In the **Extended access options** section, select the
additional services that your pipeline requires:

- **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
- **Google Drive**: Allows read-only access to Google Drive files.
- **Bigtable**: Allows read-only access to Google
  Bigtable data.
```
- Para usar uma conta de serviço personalizada, selecione Executar com a conta de serviço selecionada e, em seguida, selecione uma conta de serviço personalizada.
  
  Observação: para ver as contas de serviço no menu, é preciso ter a permissão iam.serviceAccounts.list no nível do projeto, que está disponível no papel de visualização de contas de serviço (roles/iam.serviceAccountViewer). Se você não tiver essa permissão, selecione a conta de serviço clicando em Inserir manualmente e inserindo o ID da conta de serviço.
  
  Se você precisar criar uma conta de serviço, clique em Nova conta de serviço.
Verifique se a opção Seleção de tarefas está selecionada.
No menu Selecionar tarefas para executar, pesquise tarefas específicas e selecione as que você quer executar.

A tabela Tarefas lista as tarefas que você selecionou. Clique no nome de uma tarefa para abri-la diretamente no editor de SQL.
Opcional: configure as seguintes opções de execução:
- Incluir dependências: selecione essa opção para executar as tarefas selecionadas e as dependências delas.
- Incluir dependentes: selecione essa opção para executar as tarefas selecionadas e as dependências transitivas downstream delas.
- Executar com atualização completa: selecione essa opção para recriar todas as tabelas do zero.
- Executar como job interativo com alta prioridade (padrão): selecione essa opção para definir a prioridade do job de consulta do BigQuery. Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.
Clique em Executar. Se você selecionou Executar com credenciais de usuário como método de autenticação, será necessário autorizar sua Conta do Google (pré-lançamento).
Opcional: para inspecionar a execução, confira as execuções manuais anteriores.

Executar tarefas com tags selecionadas em um pipeline

Para executar tarefas com tags selecionadas em um pipeline, faça o seguinte:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique em Executar > Executar por tag e faça o seguinte:
- Clique na tag que você quer executar.
- Clique em Selecionar tags para executar.
No painel Executar, na seção Autenticação, autorize a execução com as credenciais de usuário da sua Conta do Google ou de uma conta de serviço.
- Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com credenciais de usuário.
```
Optional: In the **Extended access options** section, select the
additional services that your pipeline requires:

- **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
- **Google Drive**: Allows read-only access to Google Drive files.
- **Bigtable**: Allows read-only access to Google
  Bigtable data.
```
- Para usar uma conta de serviço personalizada, selecione Executar com a conta de serviço selecionada e, em seguida, selecione uma conta de serviço personalizada.
  
  Observação: para ver as contas de serviço no menu, é preciso ter a permissão iam.serviceAccounts.list no nível do projeto, que está disponível no papel de visualização de contas de serviço (roles/iam.serviceAccountViewer). Se você não tiver essa permissão, selecione a conta de serviço clicando em Inserir manualmente e inserindo o ID da conta de serviço.
  
  Se você precisar criar uma conta de serviço, clique em Nova conta de serviço.
Verifique se a opção Seleção de tags está selecionada.
No menu Selecionar tags para executar, pesquise tags específicas e selecione as que você quer executar.

A tabela Tarefas lista as tarefas que você selecionou. Clique no nome de uma tarefa para abri-la diretamente no editor de SQL.
Opcional: configure as seguintes opções de execução:
- Incluir dependências: selecione essa opção para executar as tarefas selecionadas e as dependências delas.
- Incluir dependentes: selecione essa opção para executar as tarefas selecionadas e as dependências transitivas downstream delas.
- Executar com atualização completa: selecione essa opção para recriar todas as tabelas do zero.
- Executar como job interativo com alta prioridade (padrão): selecione essa opção para definir a prioridade do job de consulta do BigQuery. Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.
Clique em Executar. Se você selecionou Executar com credenciais de usuário como método de autenticação, será necessário autorizar sua Conta do Google (pré-lançamento).
Opcional: para inspecionar a execução, confira as execuções manuais anteriores.

Executar testes de unidade em um pipeline

Para definir testes de unidade no Dataform, crie arquivos de teste .sqlx no diretório definitions/ do seu repositório. Depois de criar testes de unidade no Dataform, é possível executá-los diretamente no pipeline do BigQuery para validar a lógica de transformação SQL em conjuntos de dados simulados.

Para executar testes de unidade em um pipeline, faça o seguinte:

No console do Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No painel à esquerda, clique em Explorer:

Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Explorer, expanda o projeto, clique em Pipelines e selecione um pipeline.
Clique em Executar.
No painel Executar, na seção Autenticação, autorize a execução com as credenciais de usuário da sua Conta do Google ou de uma conta de serviço:
- Para usar as credenciais de usuário da sua Conta do Google (pré-lançamento), selecione Executar com credenciais de usuário.
```
Optional: In the **Extended access options** section, select the
additional services that your pipeline requires:

- **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
- **Google Drive**: Allows read-only access to Google Drive files.
- **Bigtable**: Allows read-only access to Google
  Bigtable data.
```
- Para usar uma conta de serviço personalizada, selecione Executar com a conta de serviço selecionada e, em seguida, selecione uma conta de serviço personalizada.
  
  Para ver as contas de serviço no menu, é preciso ter a permissão iam.serviceAccounts.list no nível do projeto, que está disponível no papel de visualização de contas de serviço (roles/iam.serviceAccountViewer). Se você não tiver essa permissão, selecione a conta de serviço clicando em Inserir manualmente e inserindo o ID da conta de serviço.
  
  Se você precisar criar uma conta de serviço, clique em Nova conta de serviço.
Na seção Modo de execução, selecione Testes de unidade.
Selecione uma das seguintes opções de escopo de execução:
- Selecionar testes de unidade: pesquise e selecione testes de unidade específicos do seu pipeline.
- Selecionar tags de teste de unidade: filtre e execute testes de unidade atribuídos a tags específicas.
- Todos os testes de unidade: execute todos os testes de unidade definidos no pipeline.
Opcional: nas seções Opções de execução, marque a caixa de seleção Executar como job interativo com alta prioridade para executar testes de unidade imediatamente, priorizando a velocidade de execução.

Se você não marcar a caixa de seleção Executar como job interativo com alta prioridade, o Dataform vai executar testes de unidade usando recursos de lote por padrão, priorizando a economia de custos de computação.
Clique em Executar. Se você selecionou Executar com credenciais de usuário como método de autenticação, será necessário autorizar sua Conta do Google (pré-lançamento).
Opcional: para inspecionar a execução, confira as execuções manuais anteriores.

Autorizar sua Conta do Google

Para autenticar o recurso com as credenciais de usuário da sua Conta do Google, é preciso conceder permissão manualmente para que os pipelines do BigQuery recebam o token de acesso da sua Conta do Google e acessem os dados de origem em seu nome. É possível conceder aprovação manual com a interface da caixa de diálogo do OAuth. Se você selecionar qualquer uma das Opções de acesso estendido, precisará conceder acesso a esses serviços, como o Google Drive ou o Knowledge Catalog.

Você só precisa conceder permissão aos pipelines do BigQuery uma vez.

Para revogar a permissão concedida, siga estas etapas:

Acesse a página da sua Conta do Google.
Clique em Pipelines do BigQuery.
Clique em Remover acesso.

Se o pipeline tiver um notebook, você também precisará conceder manualmente permissão para que o Colab Enterprise receba o token de acesso da sua Conta do Google e acesse os dados de origem em seu nome. Você só precisa dar permissão uma vez. É possível revogar essa permissão na página da Conta do Google.

A seguir

Saiba mais sobre os pipelines do BigQuery.
Saiba como gerenciar pipelines.
Saiba como programar pipelines.
Saiba como gerenciar código com repositórios Git do BigQuery Studio.
Saiba como organizar recursos de código com pastas.
Saiba como testar a qualidade dos dados com testes de unidade.