Programar execuções de produção

Programar execuções de produção

Neste guia de início rápido, mostramos as etapas para programar execuções de produção no Dataform:

• Criar um repositório do Dataform.
• Conceder os papéis necessários.

• Criar uma configuração de versão e uma configuração de fluxo de trabalho.

  Crie uma configuração de versão production e defina a frequência de criação de resultados de compilação production. Em seguida, crie uma configuração de fluxo de trabalho production, selecione a configuração de versão production e defina uma programação para executar resultados de compilação production.

• Conferir resultados de compilação anteriores.

• Conferir execuções anteriores.

• Liberar espaço dos recursos criados.

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Além disso, selecione ou crie uma conta de serviço personalizada para executar fluxos de trabalho no BigQuery.

Funções exigidas

Para receber as permissões necessárias para realizar todas as tarefas neste guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador do Dataform (roles/dataform.admin) no repositório
• Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada
• Administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin) no projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Conceder os papéis necessários

Para executar fluxos de trabalho no BigQuery, você pode usar uma conta de serviço personalizada ou sua Conta do Google (visualização). No entanto, as credenciais da conta de serviço personalizada são a opção padrão para execuções programadas. O uso de credenciais de conta de usuário da Conta do Google não é recomendado para execuções programadas.

Sua conta de serviço personalizada precisa ter os seguintes papéis obrigatórios:

• Editor de dados do BigQuery (roles/bigquery.dataEditor) em projetos ou conjuntos de dados específicos do BigQuery aos quais o Dataform precisa de acesso de leitura e gravação. Isso geralmente inclui o projeto que hospeda seu repositório do Dataform.
• Visualizador de dados do BigQuery (roles/bigquery.dataViewer) em projetos ou conjuntos de dados específicos do BigQuery aos quais o Dataform precisa de acesso somente leitura.
• Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto que hospeda seu repositório do Dataform.

Para permitir que o Dataform use sua conta de serviço personalizada, o agente de serviço padrão do Dataform precisa ter os seguintes papéis no recurso da conta de serviço personalizada:

• Criador do token da conta de serviço (roles/iam.serviceAccountTokenCreator)
• Usuário da conta de serviço (roles/iam.serviceAccountUser)

Para conceder esses papéis, siga estas etapas:

1. No Google Cloud console, acesse a página IAM.

   Acessar IAM

2. Clique em Conceder acesso.

3. No campo Novos principais, insira o ID da sua conta de serviço personalizada.

4. No menu Selecionar um papel, selecione os seguintes papéis um por um, usando Adicionar outro papel para cada papel adicional:

   • Editor de dados do BigQuery
   • Visualizador de dados do BigQuery
   • Usuário de jobs do BigQuery

5. Clique em Salvar.

6. No Google Cloud console, acesse a página Contas de serviço.

   Acesse as Contas de serviço

7. Selecione sua conta de serviço personalizada.

8. Acesse Principais com acesso e clique em Conceder acesso.

9. No campo Novos principais, insira o ID do agente de serviço padrão do Dataform.

   O ID do agente de serviço padrão do Dataform está neste formato:

   [e-mail]
   

   Substitua PROJECT_NUMBER pelo ID numérico do seu Google Cloud projeto. Encontre o ID do Google Cloud projeto no Google Cloud painel do console. Para mais informações, consulte Identificar projetos.

10. Na lista Selecionar um papel, adicione os seguintes papéis:

    • Usuário da conta de serviço
    • Criador do token da conta de serviço

11. Clique em Salvar.

Para mais informações sobre como conceder papéis, consulte Conceder ao Dataform o acesso necessário.

Criar um repositório do Dataform

1. Noconsole, acesse a página Dataform. Google Cloud

   Acessar o Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-production.

   2. Na lista Região, selecione europe-west4.

   3. Na lista Conta de serviço, selecione uma conta de serviço personalizada para o repositório.

   4. Na seção Verificações de permissão actAs, aplique as verificações de permissão nas ações do usuário no repositório.

   5. Clique em Criar.

4. Clique em Acessar repositórios.

Criar uma configuração de versão e uma configuração de fluxo de trabalho

Para criar resultados de compilação de produção do quickstart-production repositório e programar uma execução de tabelas production, siga estas etapas:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Versões e programação e em Criar versão de produção.

4. No painel Criar configuração de versão, defina as seguintes configurações:

   1. No campo código de lançamento, digite production.
   2. No campo Commitish do Git, deixe o valor padrão main.
   3. Na seção Frequência de programação, no menu Repetições, selecione Personalizado.
   4. No campo Programação personalizada, insira 0 16 * * *.

   5. No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário padrão da Europa Central (CET).

      Todos os dias às 16h UTC+1, o Dataform compila o quickstart-production repositório e aplica as configurações de compilação definidas nessa configuração de versão para criar production resultados de compilação.

5. Clique em Criar.

   A configuração da versão production cria um resultado de compilação de todo o repositório quickstart-production todos os dias às 16h UTC+1.

6. Verifique se você está na guia Versões e programação. Acesse a seção Configurações do fluxo de trabalho e clique em Criar.

7. No painel Criar configuração do fluxo de trabalho, defina as seguintes configurações:

   1. No campo ID da configuração, insira production.
   2. No menu Configuração da versão, selecione production.
   3. Na seção Frequência de programação, no menu Repetições, selecione Personalizado.
   4. No campo Programação personalizada, insira 0 17 * * *.

   5. No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário padrão da Europa Central (CET).

      Todos os dias às 17h UTC+1, o Dataform executa o resultado da compilação production mais recente do repositório quickstart-production.

      Importante: para garantir que o Dataform execute o resultado da compilação mais recente na configuração de versão correspondente, mantenha um intervalo mínimo de 1 hora entre o horário de criação do resultado da compilação e o horário de execução programado.

   6. Clique em Todas as ações.

      O Dataform executa todas as ações do fluxo de trabalho no resultado da compilação production.

8. Clique em Criar.

   A configuração do fluxo de trabalho production executa todo o resultado da compilação mais recente criado pela configuração da versão de produção todos os dias às 17h UTC+1.

Conferir resultados de compilação production anteriores

Para conferir os resultados de compilação production programados anteriores, siga estas etapas:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acessar o Dataform

2. Selecione o repositório quickstart-production.

3. Clique em Versões e programação.

4. Na seção Configurações da versão, clique em production.

Conferir execuções de fluxo de trabalho production anteriores

Para conferir execuções de fluxo de trabalho production anteriores, siga estas etapas:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acessar o Dataform

2. Selecione o repositório quickstart-production.

3. Clique em Registros de execução de fluxo de trabalho.

4. Selecione uma execução de fluxo de trabalho para conferir informações mais detalhadas, incluindo o status de cada ação e todos os registros.

Liberar espaço

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir o conjunto de dados criado no BigQuery

Para evitar cobranças por recursos do BigQuery, siga estas etapas para excluir o conjunto de dados chamado dataform_production:

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, expanda o projeto e selecione dataform_production.

3. Clique no menu Ações e selecione Excluir.

4. Na caixa de diálogo Excluir conjunto de dados, insira delete e clique em Excluir.

Excluir a configuração da versão do Dataform

Não há custos associados à criação de configurações da versão do Dataform. No entanto, se você quiser excluir a configuração da versão production, siga estas etapas:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Versões e programação e acesse a seção Configurações da versão.

4. Na configuração da versão production, clique no Mais menu e em Excluir.

5. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

Excluir a configuração do fluxo de trabalho do Dataform

Para evitar cobranças pelos recursos do BigQuery, siga estas etapas para excluir a configuração do fluxo de trabalho production do Dataform:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Versões e programação e acesse a seção Configurações do fluxo de trabalho.

4. Na configuração do fluxo de trabalho production, clique no Mais menu e em Excluir.

5. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acessar o Dataform

2. Em quickstart-production, clique no menu Mais, e selecione Excluir.

3. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

4. Para confirmar, clique em Excluir.

A seguir

• Para saber mais sobre contas de serviço, consulte Sobre contas de serviço personalizadas e agentes de serviço do Dataform.
• Para saber mais sobre o ciclo de vida do código no Dataform, consulte Introdução ao ciclo de vida do código no Dataform.
• Para saber mais sobre as práticas recomendadas para o ciclo de vida do fluxo de trabalho no Dataform, consulte Práticas recomendadas para o ciclo de vida do fluxo de trabalho.
• Para saber mais sobre configurações de versão no Dataform, consulte Criar uma configuração de versão.
• Para saber mais sobre configurações de fluxo de trabalho no Dataform, consulte Programar execuções com configurações de fluxo de trabalho.