Criar e executar um fluxo de trabalho no Dataform

Criar e executar um fluxo de trabalho no Dataform

Este guia de início rápido é destinado a engenheiros e analistas de dados que querem gerenciar transformações de dados no BigQuery. Neste guia de início rápido, você vai aprender a criar e executar um fluxo de trabalho do Dataform usando o Dataform Core, uma estrutura baseada em SQL para transformar dados brutos em recursos de dados organizados, testados e documentados. Com o Dataform, é possível desenvolver e controlar as versões dos seus pipelines de modelagem de dados em um repositório central, garantindo confiabilidade e escalonabilidade.

Neste guia de início rápido, mostramos como criar um fluxo de trabalho no Dataform e executá-lo no BigQuery:

• Crie um repositório do Dataform.
• Crie e inicialize um espaço de trabalho de desenvolvimento.
• Criar uma visualização.
• Criar uma tabela.
• Execute o fluxo de trabalho.
• Acessar registros de execução no Dataform.
• Limpe os recursos criados.

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Funções exigidas

Para conseguir as permissões necessárias a fim de concluir todas as tarefas deste guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador do Dataform (roles/dataform.admin) no projeto ou repositório
• Editor de dados do BigQuery (roles/bigquery.dataEditor) no projeto ou em conjuntos de dados específicos
• Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto
• Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Conceder os papéis necessários

Para executar fluxos de trabalho no BigQuery, use uma conta de serviço personalizada ou sua Conta do Google.

Sua conta de serviço personalizada precisa ter os seguintes papéis obrigatórios:

• Editor de dados do BigQuery (roles/bigquery.dataEditor) em projetos ou conjuntos de dados específicos do BigQuery a que o Dataform precisa de acesso de leitura e gravação. Isso geralmente inclui o projeto que hospeda seu repositório do Dataform.
• Leitor de dados do BigQuery (roles/bigquery.dataViewer) em projetos ou conjuntos de dados específicos do BigQuery a que o Dataform precisa de acesso somente leitura.
• Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto que hospeda seu repositório do Dataform.

Para permitir que o Dataform use sua conta de serviço personalizada, o agente de serviço padrão do Dataform precisa ter os seguintes papéis no recurso da conta de serviço personalizada:

• Criador do token da conta de serviço (roles/iam.serviceAccountTokenCreator)
• Usuário da conta de serviço (roles/iam.serviceAccountUser)

Para conceder esses papéis, siga estas etapas:

1. No console do Google Cloud , acesse a página IAM.

   Acessar IAM

2. Clique em Conceder acesso.

3. No campo Novos principais, insira o ID da sua conta de serviço personalizada.

4. No menu Selecionar um papel, selecione os seguintes papéis um por um, usando Adicionar outro papel para cada papel adicional:

   • Editor de dados do BigQuery
   • Visualizador de dados do BigQuery
   • Usuário de jobs do BigQuery

5. Clique em Salvar.

6. No console Google Cloud , acesse a página Contas de serviço.

   Acesse as Contas de serviço

7. Selecione sua conta de serviço personalizada.

8. Acesse Principais com acesso e clique em Conceder acesso.

9. No campo Novos principais, insira o ID do agente de serviço padrão do Dataform.

   O ID do agente de serviço padrão do Dataform está no seguinte formato:

   [e-mail]
   

   Substitua PROJECT_NUMBER pelo ID numérico do seu projeto do Google Cloud . Encontre o ID do projeto Google Cloud no painel do consoleGoogle Cloud . Para mais informações, consulte Identificar projetos.

10. Na lista Selecionar um papel, adicione os seguintes papéis:

    • Usuário da conta de serviço
    • Criador do token da conta de serviço

11. Clique em Salvar.

Para mais informações sobre como conceder papéis, consulte Conceder ao Dataform o acesso necessário.

Criar um repositório do Dataform

Um repositório do Dataform é um recurso que representa um repositório Git que contém o código do projeto do Dataform usado para desenvolver, controlar versões e orquestrar fluxos de trabalho. Para criar um repositório, selecione uma das seguintes opções:

Console

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-repository.

   2. Na lista Região, selecione europe-west4.

   3. Na lista Conta de serviço, selecione uma conta de serviço personalizada para o repositório.

   4. Na seção Verificações de permissão actAs, aplique verificações de permissão em ações do usuário para o repositório.

   5. Clique em Criar.

   6. Clique em Acessar repositórios.

Você criou um repositório do Dataform. Em seguida, você pode criar e inicializar um espaço de trabalho de desenvolvimento.

API

Para criar um repositório, use o método projects.locations.repositories.create.

Execute a solicitação de API com as seguintes informações:

• Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
• Parâmetro de consulta: repositoryId=REPOSITORY_ID

curl comando:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

Substitua:

• LOCATION: a região do Google Cloud em que você quer criar o repositório, por exemplo, europe-west4.
• PROJECT_ID: o identificador exclusivo do projetoGoogle Cloud em que você quer criar o repositório do Dataform.
• REPOSITORY_ID: o identificador exclusivo do novo repositório do Dataform, por exemplo, quickstart-repository.
• SERVICE_ACCOUNT_NAME: o ID da conta de serviço personalizada criada para executar jobs do BigQuery.

Criar e inicializar um espaço de trabalho de desenvolvimento

Um espaço de trabalho do Dataform é um ambiente de desenvolvimento isolado, como uma ramificação do Git, em que você pode editar e compilar código. Para criar um espaço de trabalho, selecione uma das seguintes opções:

Console

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Clique em quickstart-repository.

3. Clique em Criar espaço de trabalho de desenvolvimento.

4. Na janela Criar espaço de trabalho de desenvolvimento, faça o seguinte:

   1. No campo Código do espaço de trabalho, digite quickstart-workspace.

   2. Clique em Criar.

   A página do espaço de trabalho de desenvolvimento é exibida.

5. Clique em Inicializar espaço de trabalho.

Observação: o Dataform inicializa seu espaço de trabalho com um conjunto de diretórios e arquivos de configuração que contêm as configurações padrão para implantar fluxos de trabalho. É possível substituir as configurações padrão no arquivo de configurações do fluxo de trabalho para melhor atender às suas necessidades, mas não é um requisito para implantar fluxos de trabalho no BigQuery. Este guia de início rápido usa as configurações padrão do Dataform.

API

1. Para criar um espaço de trabalho do Dataform, use o método projects.locations.repositories.workspaces.create.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
   • Parâmetro de consulta: workspaceId=WORKSPACE_ID

   curl comando:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d "{}" \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"
   

2. Para inicializar o espaço de trabalho com a configuração necessária, crie um arquivo local chamado workflow_settings.yaml e cole a seguinte configuração:

   defaultProject: PROJECT_ID
   defaultDataset: dataform
   dataformCoreVersion: CORE_VERSION
   

3. No terminal, execute o seguinte comando para codificar o conteúdo do arquivo em uma única string contínua:

   base64 -w 0 workflow_settings.yaml
   

4. Copie a string de saída resultante para usar no campo SETTINGS_DEFINITION no corpo da solicitação JSON.

5. Para criar o arquivo de configuração no seu espaço de trabalho, use o método projects.locations.repositories.workspaces.writeFile.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

   curl comando:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d '{
       "path": "workflow_settings.yaml",
       "contents": "SETTINGS_DEFINITION"
     }' \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"
   

   Substitua:

   • CORE_VERSION: a versão estável mais recente (não beta) do Dataform Core, por exemplo, 3.0.43. A versão mais recente está listada em Lançamentos.
   • LOCATION: a região Google Cloud do seu repositório, por exemplo, europe-west4.
   • PROJECT_ID: o identificador exclusivo do projetoGoogle Cloud em que o repositório do Dataform está localizado.
   • REPOSITORY_ID: o identificador exclusivo do seu repositório do Dataform, por exemplo, quickstart-repository.
   • SETTINGS_DEFINITION: o conteúdo do arquivo YAML como uma string codificada em Base64.
   • WORKSPACE_ID: o identificador exclusivo do seu espaço de trabalho de desenvolvimento do Dataform, por exemplo, feature-branch-1.

Criar uma visualização

Uma visualização do Dataform é um recurso definido em um arquivo SQLX que permite transformar dados e serve como uma fonte para outras tabelas ou visualizações no seu fluxo de trabalho. Para criar e definir uma visualização que será usada posteriormente como fonte de dados para uma tabela, selecione uma das seguintes opções:

Console

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Clique em quickstart-repository e em quickstart-workspace.

3. No painel Arquivos, ao lado de definitions/, clique no menu Mais.

4. Selecione Criar arquivo.

5. No painel Criar novo arquivo, faça o seguinte:

   1. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-source.sqlx.

   2. Selecione Criar arquivo.

6. No painel Arquivos, abra a pasta "definitions".

7. Clique em definitions/quickstart-source.sqlx.

8. No arquivo, digite este snippet de código:

   config {
     type: "view"
   }
   
   SELECT
     "apples" AS fruit,
     2 AS count
   UNION ALL
   SELECT
     "oranges" AS fruit,
     5 AS count
   UNION ALL
   SELECT
     "pears" AS fruit,
     1 AS count
   UNION ALL
   SELECT
     "bananas" AS fruit,
     0 AS count
   

9. Clique em Formatar.

API

Para criar uma visualização, primeiro prepare o conteúdo do arquivo SQLX para a solicitação de API.

1. Crie um arquivo local chamado quickstart-source.sqlx e cole o seguinte snippet de código SQL:

   config {
     type: "view"
   }
   
   SELECT
     "apples" AS fruit,
     2 AS count
   UNION ALL
   SELECT
     "oranges" AS fruit,
     5 AS count
   UNION ALL
   SELECT
     "pears" AS fruit,
     1 AS count
   UNION ALL
   SELECT
     "bananas" AS fruit,
     0 AS count
   

2. No terminal, execute o seguinte comando para codificar o conteúdo do arquivo em uma única string contínua:

   base64 -w 0 quickstart-source.sqlx
   

3. Copie a string de saída resultante para usar no campo VIEW_DEFINITION no corpo da solicitação JSON.

4. Para criar e definir o arquivo de definição de visualização no seu espaço de trabalho, use o método projects.locations.repositories.workspaces.writeFile.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

   Payload JSON (write_view.json):

   {
     "path": "definitions/quickstart-source.sqlx",
     "contents": "VIEW_DEFINITION"
   }
   

   curl comando:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d @write_view.json \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"
   

   Substitua:

   • LOCATION: a região Google Cloud do seu repositório, por exemplo, europe-west4.
   • PROJECT_ID: o identificador exclusivo do projetoGoogle Cloud em que o repositório do Dataform está localizado.
   • REPOSITORY_ID: o identificador exclusivo do seu repositório do Dataform, por exemplo, quickstart-repository.
   • VIEW_DEFINITION: o conteúdo do arquivo SQLX como uma string codificada em Base64.
   • WORKSPACE_ID: o identificador exclusivo do seu espaço de trabalho de desenvolvimento do Dataform, por exemplo, feature-branch-1.

Criar uma tabela

Uma tabela do Dataform é um recurso definido em um arquivo SQLX que armazena resultados de consultas transformadas no BigQuery como parte do seu fluxo de trabalho. Para definir uma tabela para seu fluxo de trabalho, selecione uma das seguintes opções:

Console

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Clique em quickstart-repository e em quickstart-workspace.

3. No painel Arquivos, ao lado de definitions/, clique no menu Mais e selecione Criar arquivo.

4. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-table.sqlx.

5. Selecione Criar arquivo.

6. No painel Arquivos, abra o diretório definitions/.

7. Selecione quickstart-table.sqlx e insira o tipo de tabela e a instrução SELECT a seguir:

   config {
     type: "table"
   }
   
   SELECT
     fruit,
     SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

8. Clique em Formatar.

   Observação: no snippet de código anterior, a função ref se refere à fonte de dados. Para mais informações, consulte Criar tabelas.

Depois de definir o tipo de tabela, o Dataform gera um erro de validação de consulta porque quickstart-source ainda não existe no BigQuery. Esse erro é resolvido quando você executa o fluxo de trabalho.

API

Para criar uma tabela, primeiro prepare o conteúdo do arquivo SQLX para a solicitação de API.

1. Crie um arquivo local chamado quickstart-table.sqlx e cole o seguinte snippet de código SQL:

   config {
     type: "table"
   }
   
   SELECT
     fruit,
     SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

2. No terminal, execute o seguinte comando para codificar o conteúdo do arquivo em uma única string contínua:

   base64 -w 0 quickstart-table.sqlx
   

3. Copie a string de saída resultante para usar no campo TABLE_DEFINITION no corpo da solicitação JSON.

4. Para definir uma tabela no seu espaço de trabalho, use o método projects.locations.repositories.workspaces.writeFile. Essa única solicitação de API substitui as etapas manuais de criação de um arquivo SQLX e definição da estrutura e das dependências da tabela.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

   Payload JSON (write_table.json):

   {
     "path": "definitions/quickstart-table.sqlx",
     "contents": "TABLE_DEFINITION"
   }
   

   curl comando:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d @write_table.json \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"
   

   Substitua:

   • LOCATION: a região Google Cloud do seu repositório, por exemplo, europe-west4.
   • PROJECT_ID: o identificador exclusivo do projetoGoogle Cloud em que o repositório do Dataform está localizado.
   • REPOSITORY_ID: o identificador exclusivo do seu repositório do Dataform, por exemplo, quickstart-repository.
   • TABLE_DEFINITION: o conteúdo do arquivo SQLX como uma string codificada em Base64.
   • WORKSPACE_ID: o identificador exclusivo do seu espaço de trabalho de desenvolvimento do Dataform, por exemplo, feature-branch-1.

Executar o fluxo de trabalho no BigQuery

Para executar o fluxo de trabalho, selecione uma das seguintes opções:

Console

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Clique em quickstart-repository e em quickstart-workspace.

3. Clique em Iniciar execução.

4. Clique em Todas as ações.

5. Clique em Iniciar execução.

6. Na caixa de diálogo que aparece, clique em Permitir para conceder permissão aos Pipelines do BigQuery de acessar sua Conta do Google.

   O Dataform usa as configurações de repositório padrão para criar o conteúdo do seu fluxo de trabalho em um conjunto de dados do BigQuery chamado dataform.

Você criou um fluxo de trabalho do Dataform e o executou no BigQuery.

API

Para executar seu fluxo de trabalho no BigQuery, compile os arquivos SQLX em SQL padrão e acione uma invocação.

1. Para criar um resultado de compilação com base no seu espaço de trabalho, use o método projects.locations.repositories.compilationResults.create.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

   curl comando:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d '{
       "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
     }' \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"
   

   Substitua:

   • LOCATION: a região Google Cloud do seu repositório, por exemplo, europe-west4.
   • PROJECT_ID: o identificador exclusivo do projetoGoogle Cloud em que o repositório do Dataform está localizado.
   • REPOSITORY_ID: o identificador exclusivo do seu repositório do Dataform, por exemplo, quickstart-repository.
   • WORKSPACE_ID: o identificador exclusivo do seu espaço de trabalho de desenvolvimento do Dataform, por exemplo, feature-branch-1.

2. Na resposta, anote o ID do resultado da compilação no formato /compilationResults/COMPILATION_ID.

3. Para acionar uma invocação de fluxo de trabalho, use o método projects.locations.repositories.workflowInvocations.create. Forneça o ID do resultado da compilação que você criou.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

   curl comando:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d '{
       "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
     }' \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"
   

   Substitua:

   • COMPILATION_ID: o identificador exclusivo do resultado da compilação.
   • LOCATION: a região Google Cloud do seu repositório, por exemplo, europe-west4.
   • PROJECT_ID: seu ID do projeto Google Cloud único em que o repositório do Dataform está localizado.
   • REPOSITORY_ID: o identificador exclusivo do seu repositório do Dataform, por exemplo, quickstart-repository.

Você criou um fluxo de trabalho do Dataform e o executou no BigQuery.

Acessar registros de execução no Dataform

Para conferir os registros de execução, selecione uma das seguintes opções:

Console

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Clique em quickstart-repository e em quickstart-workspace.

3. Clique em Registros de execução de fluxo de trabalho.

4. Para conferir os detalhes, clique na última execução.

API

1. Para conferir um histórico das suas execuções, use o método projects.locations.repositories.workflowInvocations.list.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations
   • Parâmetro de consulta: para garantir que as execuções mais recentes apareçam na parte de cima dos resultados, use ?orderBy=create_time desc.

   curl comando:

     curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations?orderBy=create_time%20desc"
   

   Substitua:

   • LOCATION: a região Google Cloud do seu repositório, por exemplo, europe-west4.
   • PROJECT_ID: seu ID do projeto Google Cloud único em que o repositório do Dataform está localizado.
   • REPOSITORY_ID: o identificador exclusivo do seu repositório do Dataform, por exemplo, quickstart-repository.

2. Para conferir os registros e o status detalhados de uma execução específica, use o método projects.locations.repositories.workflowInvocations.query.

   Execute a solicitação de API com as seguintes informações:

   • Endpoint: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query

   curl comando:

     curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query"
   

   Substitua:

   • LOCATION: a região Google Cloud do seu repositório, por exemplo, europe-west4.
   • PROJECT_ID: seu ID do projeto Google Cloud único em que o repositório do Dataform está localizado.
   • REPOSITORY_ID: o identificador exclusivo do repositório do Dataform, por exemplo, quickstart-repository.
   • WORKFLOW_INVOCATION_ID: o identificador exclusivo de uma execução de fluxo de trabalho específica. É possível receber esse identificador nos resultados de uma solicitação workflowInvocations.list ou no campo name de uma resposta workflowInvocations.create.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir o conjunto de dados criado no BigQuery

Para evitar cobranças por recursos do BigQuery, exclua o conjunto de dados chamado dataform.

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, expanda o projeto e selecione dataform.

3. Clique no menu Ações e selecione Excluir.

4. Na caixa de diálogo Excluir conjunto de dados, digite delete no campo e clique em Excluir.

Excluir o espaço de trabalho de desenvolvimento do Dataform

A criação de um espaço de trabalho de desenvolvimento do Dataform não gera custos, mas para excluir o espaço de trabalho de desenvolvimento, siga estas etapas:

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Clique em quickstart-repository.

3. Na guia Espaços de trabalho de desenvolvimento, clique no menu Mais ao lado de quickstart-workspace e selecione Excluir.

4. Para confirmar, clique em Excluir.

Excluir o repositório do Dataform

A criação de repositórios do Dataform não gera custos, mas para excluir o repositório, siga estas etapas:

1. No console Google Cloud , acesse a página Dataform do BigQuery.

   Acesse o Dataform

2. Em quickstart-repository, clique no menu Mais e selecione Excluir.

3. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

4. Para confirmar, clique em Excluir.

A seguir

• Para saber mais sobre o Dataform, consulte Visão geral do Dataform.
• Para saber como conectar um repositório remoto a um repositório do Dataform, consulte Conectar a um repositório Git de terceiros.
• Para saber como substituir as configurações padrão do Dataform do seu repositório, consulte Configurar as configurações do fluxo de trabalho do Dataform.
• Para saber mais sobre como gerenciar conjuntos de dados no BigQuery, consulte Gerenciar conjuntos de dados.
• Para saber mais sobre como gerenciar tabelas no BigQuery, consulte Gerenciar tabelas.