Agende execuções de produção

Agende execuções de produção

Este início rápido explica os seguintes passos para programar execuções de produção no Dataform:

• Crie um repositório do Dataform.
• Conceda as funções necessárias.

• Crie uma configuração de lançamento e uma configuração de fluxo de trabalho.

  Crie uma configuração de lançamento production e defina a frequência de criação de production resultados de compilação. Em seguida, crie uma productionconfiguração do fluxo de trabalho, selecione a configuração de lançamento e defina uma programação para executar os productionresultados da compilação.production

• Veja os resultados de compilação anteriores.

• Veja execuções anteriores.

• Limpe os recursos criados.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Além disso, selecione ou crie uma conta de serviço personalizada para executar fluxos de trabalho no BigQuery.

Funções necessárias

Para receber as autorizações de que precisa para realizar todas as tarefas neste tutorial, peça ao seu administrador para lhe conceder as seguintes funções da IAM:

• Administrador do Dataform (roles/dataform.admin) em repositórios
• Editor do Dataform (roles/dataform.editor) em espaços de trabalho e invocações de fluxo de trabalho
• Utilizador da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada
• Administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin) no projeto

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Conceda as funções necessárias

Para executar fluxos de trabalho no BigQuery, pode usar uma conta de serviço personalizada ou a sua Conta Google (pré-visualização). No entanto, as credenciais da conta de serviço personalizada são a opção predefinida para execuções agendadas. A utilização de credenciais de contas de utilizador da Conta Google não é recomendada para execuções agendadas.

Para executar fluxos de trabalho no BigQuery, a sua conta de serviço personalizada tem de ter as seguintes funções necessárias:

• Editor de dados do BigQuery (roles/bigquery.dataEditor) em projetos aos quais o Dataform precisa de acesso de leitura e escrita, que normalmente inclui o projeto que aloja o seu repositório do Dataform.
• Visualizador de dados do BigQuery (roles/bigquery.dataViewer) em projetos aos quais o Dataform precisa de acesso só de leitura.
• Utilizador da tarefa do BigQuery (roles/bigquery.jobUser) no projeto que aloja o seu repositório do Dataform.

Para permitir que o Dataform use a sua conta de serviço personalizada, o agente do serviço do Dataform predefinido tem de ter as seguintes funções no recurso da conta de serviço personalizada:

• Criador de tokens de contas de serviço (roles/iam.serviceAccountTokenCreator)
• Utilizador da conta de serviço (roles/iam.serviceAccountUser)

Para conceder estas funções, siga estes passos:

1. Na Google Cloud consola, aceda à página IAM.

   Aceder ao IAM

2. Clique em Conceder acesso.

3. No campo Novos membros, introduza o ID da conta de serviço personalizada.

4. No menu Selecionar uma função, selecione as seguintes funções uma a uma, usando a opção Adicionar outra função para cada função adicional:

   • Editor de dados do BigQuery
   • Visualizador de dados do BigQuery
   • Utilizador de tarefas do BigQuery

5. Clique em Guardar.

6. Na Google Cloud consola, aceda à página Contas de serviço.

   Aceda a Contas de serviço

7. Selecione a sua conta de serviço personalizada.

8. Aceda a Entidades com acesso e, de seguida, clique em Conceder acesso.

9. No campo Novos membros, introduza o ID do agente de serviço do Dataform predefinido.

   O ID do agente do serviço Dataform predefinido está no seguinte formato:

   [e-mail]
   

10. Na lista Selecionar uma função, adicione as seguintes funções:

    • Utilizador da conta de serviço
    • Criador de tokens de contas de serviço

11. Clique em Guardar.

Crie um repositório do Dataform

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo ID do repositório, introduza quickstart-production.

   2. Na lista Região, selecione europe-west4.

   3. No campo Conta de serviço, clique em Introduzir manualmente e, de seguida, introduza o nome da sua conta de serviço personalizada. Certifique-se de que introduz a sua conta de serviço personalizada neste campo.

   4. Clique em Criar.

4. Clique em Aceder aos repositórios.

Crie uma configuração de lançamento e uma configuração de fluxo de trabalho

Para criar resultados de compilação de produção do repositório quickstart-production e agendar uma execução de tabelas production, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Lançamentos e agendamento e, de seguida, em Criar lançamento de produção.

4. No painel Criar configuração de lançamento, configure as seguintes definições:

   1. No campo ID da versão, introduza production.
   2. No campo Git commitish, mantenha o valor predefinido main .
   3. Na secção Frequência da programação, no menu Repetições, selecione Personalizado.
   4. No campo Horário personalizado, introduza 0 16 * * *.

   5. No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Hora padrão da Europa Central (CET).

      Todos os dias às 16:00 UTC+1, o Dataform compila o repositório quickstart-production e aplica as definições de compilação production configuradas nesta configuração de lançamento para criar resultados da compilação.

5. Clique em Criar.

   A configuração de lançamento production cria um resultado de compilação de todo o repositório quickstart-production todos os dias às 16:00 UTC+1.

6. Certifique-se de que está no separador Lançamentos e agendamento. Aceda à secção Configurações do fluxo de trabalho e clique em Criar.

7. No painel Criar configuração do fluxo de trabalho, configure as seguintes definições:

   1. No campo ID da configuração, introduza production.
   2. No menu Configuração de lançamento, selecione production.
   3. Na secção Frequência da programação, no menu Repetições, selecione Personalizado.
   4. No campo Horário personalizado, introduza 0 17 * * *.

   5. No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Hora padrão da Europa Central (CET).

      Todos os dias às 17:00 UTC+1, o Dataform executa o resultado da compilação mais recente do repositório quickstart-production.production

      Importante: para garantir que o Dataform executa o resultado da compilação mais recente na configuração de lançamento correspondente, mantenha um intervalo mínimo de 1 hora entre a hora de criação do resultado da compilação e a hora de execução agendada.

   6. Clique em Todas as ações.

      O Dataform executa todas as ações do fluxo de trabalho no production resultado da compilação.

8. Clique em Criar.

   A configuração do fluxo de trabalho production executa o resultado da compilação mais recente criado pela configuração do lançamento de produção todos os dias às 17:00 UTC+1.

Veja os resultados de compilações anteriores de production

Para ver os resultados de compilação production agendados anteriores, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Selecione o repositório quickstart-production.

3. Clique em Lançamentos e agendamento.

4. Na secção Configurações de lançamento, clique em production.

Veja as production execuções do fluxo de trabalho anteriores

Para ver execuções de fluxo de trabalho production anteriores, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Selecione o repositório quickstart-production.

3. Clique em Registos de execução do fluxo de trabalho.

4. Selecione uma execução do fluxo de trabalho para ver informações mais detalhadas, incluindo o estado de cada ação e quaisquer registos.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

Elimine o conjunto de dados criado no BigQuery

Para evitar incorrer em custos por recursos do BigQuery, siga estes passos para eliminar o conjunto de dados denominado dataform_production:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o projeto e selecione dataform_production.

3. Clique no menu Ações e, de seguida, selecione Eliminar.

4. Na caixa de diálogo Eliminar conjunto de dados, introduza eliminar e, de seguida, clique em Eliminar.

Elimine a configuração de lançamento do Dataform

Não existem custos associados à criação de configurações de lançamento do Dataform. No entanto, se quiser eliminar a configuração de lançamento, siga estes passos:production

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Lançamentos e agendamento e aceda à secção Configurações de lançamento.

4. Junto à configuração de lançamento production, clique no menu Mais e, de seguida, em Eliminar.

5. Na caixa de diálogo Eliminar configuração de lançamento, clique em Eliminar.

Elimine a configuração do fluxo de trabalho do Dataform

Para evitar incorrer em custos por recursos do BigQuery, siga estes passos para eliminar a configuração do fluxo de trabalho do Dataform production:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Lançamentos e agendamento e aceda à secção Configurações do fluxo de trabalho.

4. Na configuração do fluxo de trabalho production, clique no menu Mais e, de seguida, em Eliminar.

5. Na caixa de diálogo Eliminar configuração de lançamento, clique em Eliminar.

Elimine o repositório do Dataform

Não existem custos associados à criação de repositórios do Dataform. No entanto, se quiser eliminar um repositório e todo o respetivo conteúdo, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Em quickstart-production, clique no menu Mais e, de seguida, selecione Eliminar.

3. Na janela Eliminar repositório, introduza o nome do repositório para confirmar a eliminação.

4. Para confirmar, clique em Eliminar.

O que se segue?

• Para saber mais sobre as contas de serviço, consulte o artigo Acerca das contas de serviço personalizadas e dos agentes de serviço do Dataform.
• Para saber mais sobre o ciclo de vida do código no Dataform, consulte o artigo Introdução ao ciclo de vida do código no Dataform.
• Para saber mais sobre as práticas recomendadas para o ciclo de vida do fluxo de trabalho no Dataform, consulte o artigo Práticas recomendadas para o ciclo de vida do fluxo de trabalho.
• Para saber mais sobre as configurações de lançamento no Dataform, consulte o artigo Crie uma configuração de lançamento.
• Para saber mais sobre as configurações de fluxo de trabalho no Dataform, consulte o artigo Agende execuções com configurações de fluxo de trabalho.