Conectar um repositório Git e executar um fluxo de trabalho

Neste guia de início rápido, mostramos como criar um repositório do Dataform, conectá-lo a um repositório Git de terceiros e executar um fluxo de trabalho. Você realiza as seguintes tarefas usando o consoleGoogle Cloud e a API Dataform:

  • Criar um repositório do Dataform.
  • Conecte o repositório ao repositório do GitHub dataform-co/dataform-example-project-bigquery.
  • Crie e inicialize um espaço de trabalho de desenvolvimento.
  • Adicione uma nova visualização ao projeto.
  • Compile o projeto e execute o fluxo de trabalho no BigQuery.

Antes de começar

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Funções exigidas

Para conseguir as permissões necessárias a fim de concluir todas as tarefas deste guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Criar um repositório do Dataform

Um repositório é o contêiner principal do seu projeto do Dataform. Selecione uma das seguintes opções:

Console

  1. Acesse a página Dataform do BigQuery.

    Acesse o Dataform

  2. Clique em Criar repositório.

  3. Na página Criar repositório, faça o seguinte:

    1. No campo Código do repositório, insira quickstart-repo.
    2. Na lista Região, selecione uma região. Por exemplo, europe-west4.
    3. Na lista Conta de serviço, selecione uma conta de serviço personalizada para o repositório.
    4. Clique em Criar.
    5. Clique em Acessar repositórios.

Você criou um repositório do Dataform. Em seguida, você pode conectar o repositório do Dataform a um repositório Git remoto.

API

Para criar um repositório, use o método projects.locations.repositories.create. Execute a solicitação de API com as seguintes informações:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
  • Parâmetro de consulta: repositoryId=REPOSITORY_ID

Como alternativa, no terminal, execute o seguinte comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

Substitua:

  • SERVICE_ACCOUNT_NAME: o ID da conta de serviço personalizada criada para executar jobs do BigQuery.
  • PROJECT_ID: o identificador exclusivo do projetoGoogle Cloud em que você quer criar o repositório do Dataform.
  • LOCATION: a região do Google Cloud em que você quer criar o repositório, por exemplo, europe-west4.
  • REPOSITORY_ID: o identificador exclusivo do novo repositório do Dataform, por exemplo, quickstart-repo.

Você criou um repositório do Dataform. Em seguida, você pode conectar o repositório do Dataform a um repositório Git remoto.

Conectar ao repositório Git

Para conectar seu repositório do Dataform ao projeto, selecione uma das seguintes opções:

Console

  1. Acesse a página do Secret Manager.

    Acessar o Secret Manager

  2. Clique em Criar secret.

  3. No campo Nome, use dataform-git-token.

  4. No campo Valor do secret, insira seu token de acesso pessoal (PAT) do GitHub.

    Para instruções sobre como criar um PAT, consulte Gerenciar seus tokens de acesso pessoal.

    Recomendamos definir uma data de expiração para o token de acordo com as políticas de segurança da sua organização.

  5. Clique em Criar secret.

  6. Na página de detalhes do secret, clique na guia Permissões e em Conceder acesso.

  7. No campo Novos principais, insira o agente de serviço do Dataform: service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com.

    Substitua PROJECT_NUMBER pelo número do projeto doGoogle Cloud . Para detalhes sobre como encontrar o número do projeto, consulte Encontrar o nome, o número e o ID do projeto.

  8. No campo Selecionar um papel, selecione Secret Manager > Acessador de secrets do Secret Manager.

  9. Clique em Salvar.

  10. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  11. Clique em quickstart-repo.

  12. Na página do repositório, clique em Configurações > Conectar com o Git.

  13. No painel Vincular ao repositório remoto, selecione HTTPS.

  14. No campo URL do repositório Git remoto, insira https://github.com/dataform-co/dataform-example-project-bigquery.git.

  15. No campo Nome da ramificação remota padrão, insira master.

  16. No menu Secret, selecione dataform-git-token.

  17. Clique em Vincular.

Você conectou seu repositório do Dataform a um repositório Git remoto e concedeu as permissões necessárias. Em seguida, você pode criar e inicializar um espaço de trabalho de desenvolvimento.

API

  1. Para armazenar seu token de acesso pessoal do Git, crie um Secret no Secret Manager com o método projects.secrets.create. Execute a solicitação de API com as seguintes informações:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets
    • Parâmetro de consulta: secretId=dataform-git-token

    • Corpo:

      {
  "replication": {
    "automatic": {}
  }
}

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "replication": {
      "automatic": {}
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets?secretId=dataform-git-token"

  2. Adicione uma versão ao secret que contém seu token de acesso pessoal (PAT) do GitHub. Para instruções sobre como criar um PAT, consulte Gerenciar seus tokens de acesso pessoal. Recomendamos definir uma data de expiração para o token de acordo com as políticas de segurança da sua organização.

    Para adicionar uma versão do secret, use o método projects.secrets.addVersion. Execute a solicitação de API com as seguintes informações:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion

    • Corpo:

      {
  "payload": {
    "data": "GITHUB_PAT"
  }
}

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "payload": {
      "data": "$(echo -n "GITHUB_PAT" | base64)"
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion"

    Substitua GITHUB_PAT pelo token de acesso pessoal do GitHub. O comando curl converte automaticamente seu PAT em uma string codificada em Base64 antes de enviar a solicitação.

  3. Para permitir que o Dataform acesse o secret, conceda o papel de Acessador de secrets do Secret Manager (roles/secretmanager.secretAccessor) ao agente de serviço do Dataform. Para conceder a função, selecione uma das seguintes opções:

    gcloud

    Execute o gcloud secrets add-iam-policy-bindingcomando:

    gcloud secrets add-iam-policy-binding dataform-git-token \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com" \
    --role="roles/secretmanager.secretAccessor"

    Substitua PROJECT_NUMBER pelo número do projeto doGoogle Cloud . Para detalhes sobre como encontrar o número do projeto, consulte Encontrar o nome, o número e o ID do projeto.

    API Secret Manager

    Use o método projects.secrets.setIamPolicy. Execute a solicitação de API com as seguintes informações:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy

    • Corpo:

      {
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}' \
"https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy"

    Substitua PROJECT_NUMBER pelo número do projeto doGoogle Cloud . Para detalhes sobre como encontrar o número do projeto, consulte Encontrar o nome, o número e o ID do projeto.

  4. Para conectar seu repositório a um repositório Git remoto, use o método projects.locations.repositories.patch. Execute a solicitação de API com as seguintes informações:

    • Endpoint: PATCH https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID
    • Parâmetro de consulta: updateMask=gitRemoteSettings

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "gitRemoteSettings": {
      "url": "https://github.com/dataform-co/dataform-example-project-bigquery.git",
      "defaultBranch": "master",
      "authenticationTokenSecretVersion": "projects/PROJECT_ID/secrets/dataform-git-token/versions/1"
    }
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID?updateMask=gitRemoteSettings"

Você conectou seu repositório do Dataform a um repositório Git remoto e concedeu as permissões necessárias. Em seguida, você pode criar e inicializar um espaço de trabalho de desenvolvimento.

Criar e inicializar um espaço de trabalho de desenvolvimento

Um espaço de trabalho é um ambiente de desenvolvimento isolado. Para criar e inicializar um espaço de trabalho, selecione uma das seguintes opções:

Console

  1. Acesse a página Dataform do BigQuery.

    Acesse o Dataform

  2. Clique em quickstart-repo.

  3. No repositório, acesse a guia Espaços de trabalho de desenvolvimento.

  4. Clique em Criar espaço de trabalho de desenvolvimento.

  5. No campo Código do espaço de trabalho, digite dev-workspace.

  6. Clique em Criar.

  7. Na guia Espaços de trabalho de desenvolvimento, selecione o espaço de trabalho dev-workspace.

Você criou e inicializou um espaço de trabalho de desenvolvimento. Em seguida, configure as opções do fluxo de trabalho.

API

Para criar um espaço de trabalho, use o método projects.locations.repositories.workspaces.create. Execute a solicitação de API com as seguintes informações:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
  • Parâmetro de consulta: workspaceId=WORKSPACE_ID

Como alternativa, no terminal, execute o seguinte comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d "{}" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"

Substitua WORKSPACE_ID pelo identificador exclusivo do novo espaço de trabalho de desenvolvimento do Dataform. Por exemplo, dev-workspace.

Você criou e inicializou um espaço de trabalho de desenvolvimento. Em seguida, configure as opções do fluxo de trabalho.

Configurar as definições do fluxo de trabalho

Nesta seção, você atualiza o ID do projeto no arquivo workflow_settings.yaml para garantir que o Dataform execute o fluxo de trabalho no seu projetoGoogle Cloud . Para configurar as opções de fluxo de trabalho, selecione uma das seguintes opções:

Console

  1. Acesse a página Dataform do BigQuery.

    Acesse o Dataform

  2. Clique em quickstart-repo.

  3. No seu repositório, acesse a guia Espaços de trabalho de desenvolvimento e clique em dev-workspace.

  4. No painel Arquivos, selecione workflow_settings.yaml.

  5. No arquivo, substitua o valor de defaultProject pelo ID do projeto.

    O arquivo é salvo automaticamente.

As configurações do fluxo de trabalho foram atualizadas. Em seguida, adicione uma nova declaração de origem ao projeto.

API

  1. Crie um arquivo local chamado workflow_settings.yaml e cole a seguinte configuração nele:

    defaultProject: PROJECT_ID
defaultDataset: dataform
dataformCoreVersion: CORE_VERSION

    Substitua CORE_VERSION pela versão estável mais recente (não beta) do Dataform Core, por exemplo, 3.0.43. A versão mais recente está listada em Lançamentos.

  2. No terminal, codifique o conteúdo do arquivo em uma string Base64:

    base64 -w 0 workflow_settings.yaml

  3. Copie a string de saída resultante para usar no marcador de posição SETTINGS_DEFINITION caso decida usar o comando alternativo curl mais tarde nestas etapas.

  4. Para atualizar as configurações do fluxo de trabalho, use o método projects.locations.repositories.workspaces.writeFile. Execute a solicitação de API com as seguintes informações:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "workflow_settings.yaml",
    "contents": "SETTINGS_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Substitua SETTINGS_DEFINITION pelo conteúdo do arquivo YAML como uma string codificada em Base64.

As configurações do fluxo de trabalho foram atualizadas. Em seguida, adicione uma nova declaração de origem ao projeto.

Criar uma origem

Nesta seção, você vai adicionar uma nova declaração de origem SQLX ao projeto que define um conjunto de dados do BigQuery para que o Dataform possa referenciá-lo como uma fonte de dados no fluxo de trabalho. Para criar a nova origem, selecione uma das seguintes opções:

Console

  1. Acesse a página Dataform do BigQuery.

    Acesse o Dataform

  2. Clique em quickstart-repo.

  3. No seu repositório, acesse a guia Espaços de trabalho de desenvolvimento e clique em dev-workspace.

  4. No painel Arquivos, selecione a pasta definitions.

  5. Clique em Mais ações de arquivo > Criar arquivo.

  6. No campo Adicionar um caminho de arquivo, insira definitions/sources/tags.sqlx.

  7. Selecione Criar arquivo.

  8. No editor SQL do novo arquivo definitions/sources/tags.sqlx, cole o seguinte código:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

Você criou uma declaração de origem. Em seguida, adicione uma nova visualização ao projeto.

API

  1. Crie um arquivo local chamado tags.sqlx.

  2. Cole o código a seguir no arquivo tags.sqlx:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

  3. No terminal, codifique o conteúdo do arquivo em uma única string contínua:

    base64 -w 0 tags.sqlx

  4. Copie a string de saída resultante para usar no marcador de posição SOURCE_DEFINITION caso decida usar o comando alternativo curl mais tarde nestas etapas.

  5. Para criar um arquivo de declaração de origem no seu espaço de trabalho, use o método projects.locations.repositories.workspaces.writeFile. Execute a solicitação de API com as seguintes informações:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/sources/tags.sqlx",
    "contents": "SOURCE_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Substitua SOURCE_DEFINITION pelo conteúdo do arquivo SQLX como uma string codificada em Base64.

Você criou uma declaração de origem. Em seguida, adicione uma nova visualização ao projeto.

Criar uma visualização

Nesta seção, você vai adicionar um novo arquivo SQLX ao projeto que define uma visualização. Para criar a nova visualização, selecione uma das seguintes opções:

Console

  1. Acesse a página Dataform do BigQuery.

    Acesse o Dataform

  2. Clique em quickstart-repo.

  3. No seu repositório, acesse a guia Espaços de trabalho de desenvolvimento e clique em dev-workspace.

  4. No painel Arquivos, selecione a pasta definitions.

  5. Clique em Mais ações de arquivo > Criar arquivo.

  6. No campo Adicionar um caminho de arquivo, insira definitions/top_question_tags.sqlx.

  7. Selecione Criar arquivo.

  8. No editor SQL do novo arquivo definitions/top_question_tags.sqlx, cole o seguinte código:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

Você criou uma visualização. Em seguida, você pode compilar o projeto.

API

  1. Crie um arquivo local chamado top_question_tags.sqlx.

  2. Cole o código a seguir no arquivo top_question_tags.sqlx:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

  3. No terminal, codifique o conteúdo do arquivo em uma única string contínua:

    base64 -w 0 top_question_tags.sqlx

  4. Copie a string de saída resultante para usar no marcador de posição VIEW_DEFINITION caso decida usar o comando alternativo curl mais tarde nestas etapas.

  5. Para criar um arquivo de definição de visualização no seu espaço de trabalho, use o método projects.locations.repositories.workspaces.writeFile. Execute a solicitação de API com as seguintes informações:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/top_question_tags.sqlx",
    "contents": "VIEW_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Substitua VIEW_DEFINITION pelo conteúdo do arquivo SQLX como uma string codificada em Base64.

Você criou uma visualização. Em seguida, você pode compilar o projeto.

Compile o projeto

A compilação converte arquivos SQLX em um gráfico de execução SQL puro. Para compilar o projeto, selecione uma das seguintes opções:

Console

O console Google Cloud compila seu projeto automaticamente. Você pode verificar a compilação na guia Gráfico compilado do seu espaço de trabalho.

Você compilou o projeto e verificou o gráfico de execução. Em seguida, execute o fluxo de trabalho no BigQuery.

API

  1. Para criar um resultado de compilação com base no seu espaço de trabalho, use o método projects.locations.repositories.compilationResults.create. Execute a solicitação de API com as seguintes informações:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"

  2. Para verificar se o projeto foi compilado com sucesso, use o método projects.locations.repositories.compilationResults.get. Execute a solicitação de API com as seguintes informações:

    • Endpoint: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID

    Como alternativa, no terminal, execute o seguinte comando curl:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"

    Substitua COMPILATION_ID pelo identificador exclusivo do resultado da compilação. Esse ID é fornecido na resposta da solicitação de compilação na etapa anterior.

  3. Na resposta, verifique o campo compilationErrors. Se a lista estiver vazia, seu projeto foi compilado.

Você compilou o projeto e verificou o gráfico de execução. Em seguida, execute o fluxo de trabalho no BigQuery.

Executar o fluxo de trabalho

Para acionar a execução do fluxo de trabalho no BigQuery, selecione uma das seguintes opções:

Console

  1. Acesse a página Dataform do BigQuery.

    Acesse o Dataform

  2. Clique em quickstart-repo.

  3. No seu repositório, acesse a guia Espaços de trabalho de desenvolvimento e clique em dev-workspace.

  4. Na barra de ferramentas, clique em Iniciar execução > Executar ações.

  5. Selecione Todas as ações.

  6. Clique em Iniciar execução.

Você executou o fluxo de trabalho.

API

Para acionar uma invocação de fluxo de trabalho, use o método projects.locations.repositories.workflowInvocations.create. Execute a solicitação de API com as seguintes informações:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

Como alternativa, no terminal, execute o seguinte comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"

Você executou o fluxo de trabalho.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir os conjuntos de dados do BigQuery

Para evitar cobranças por recursos do BigQuery, exclua os conjuntos de dados criados por esse fluxo de trabalho, como reporting e staging.

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, expanda o projeto e selecione um conjunto de dados.

  3. Clique no menu Ações e selecione Excluir.

  4. Na caixa de diálogo Excluir conjunto de dados, digite delete no campo e clique em Excluir.

Exclua o secret do Secret Manager

Para limpar seus recursos de segurança, exclua o secret usado para a conexão do Git.

  1. No console do Google Cloud , acesse a página Secret Manager.

    Acessar o Secret Manager

  2. Selecione o secret dataform-git-token.

  3. Clique em Excluir.

  4. Na caixa de diálogo de confirmação, insira o nome do secret para confirmar e clique em Excluir.

Excluir o espaço de trabalho de desenvolvimento do Dataform

A criação de um espaço de trabalho de desenvolvimento do Dataform não gera custos, mas para excluir o espaço de trabalho de desenvolvimento, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Clique em quickstart-repo.

  3. Na guia Espaços de trabalho de desenvolvimento, clique no menu Mais ao lado de dev-workspace e selecione Excluir.

  4. Para confirmar, clique em Excluir.

Excluir o repositório do Dataform

A criação de repositórios do Dataform não gera custos, mas para excluir o repositório, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Em quickstart-repo, clique no menu Mais e selecione Excluir.

  3. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

  4. Para confirmar, clique em Excluir.

A seguir