Criar ambientes de desenvolvimento

Criar ambientes de desenvolvimento

Neste guia de início rápido, mostramos as etapas para criar ambientes de desenvolvimento individuais no Dataform, para que cada desenvolvedor possa trabalhar no próprio ambiente:

• Criar um repositório do Dataform.
• Conceder os papéis necessários.

• Configurar substituições de compilação do espaço de trabalho.

  Configure substituições de compilação que o Dataform aplica a todos os espaços de trabalho no repositório, transformando-os em ambientes de desenvolvimento isolados.

• Liberar espaço dos recursos criados.

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Além disso, se você quiser usar uma conta de serviço personalizada para executar fluxos de trabalho em BigQuery, selecione ou crie uma conta de serviço personalizada.

Funções exigidas

Para receber as permissões necessárias para realizar todas as tarefas neste guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador do Dataform (roles/dataform.admin) no repositório
• Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada
• Administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin) no projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Conceder os papéis necessários

Para executar fluxos de trabalho no BigQuery, você pode usar uma conta de serviço personalizada ou sua Conta do Google.

Sua conta de serviço personalizada precisa ter os seguintes papéis obrigatórios:

• Editor de dados do BigQuery (roles/bigquery.dataEditor) em projetos ou conjuntos de dados específicos do BigQuery aos quais o Dataform precisa de acesso de leitura e gravação. Isso geralmente inclui o projeto que hospeda o repositório do Dataform.
• Visualizador de dados do BigQuery (roles/bigquery.dataViewer) em projetos ou conjuntos de dados específicos do BigQuery aos quais o Dataform precisa de acesso somente leitura.
• Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto que hospeda o repositório do Dataform.

Para permitir que o Dataform use sua conta de serviço personalizada, o agente de serviço padrão do Dataform precisa ter os seguintes papéis no recurso da conta de serviço personalizada:

• Criador do token da conta de serviço (roles/iam.serviceAccountTokenCreator)
• Usuário da conta de serviço (roles/iam.serviceAccountUser)

Para conceder esses papéis, siga estas etapas:

1. Noconsolen, acesse a página IAM. Google Cloud

   Acessar IAM

2. Clique em Conceder acesso.

3. No campo Novos principais, digite o ID da sua conta de serviço personalizada.

4. No menu Selecionar um papel, selecione os seguintes papéis um por um, usando Adicionar outro papel para cada papel adicional:

   • Editor de dados do BigQuery
   • Visualizador de dados do BigQuery
   • Usuário de jobs do BigQuery

5. Clique em Salvar.

6. Noconsolen, acesse a página Contas de serviço. Google Cloud

   Acesse as Contas de serviço

7. Selecione sua conta de serviço personalizada.

8. Acesse Principais com acesso e clique em Conceder acesso.

9. No campo Novos principais, digite o ID do agente de serviço padrão do Dataform.

   O ID do agente de serviço padrão do Dataform está neste formato:

   [e-mail]
   

   Substitua PROJECT_NUMBER pelo ID numérico do seu Google Cloud projeto. Encontre o ID do Google Cloud projeto no Google Cloud painel do console. Para mais informações, consulte Identificar projetos.

10. Na lista Selecionar um papel, adicione os seguintes papéis:

    • Usuário da conta de serviço
    • Criador do token da conta de serviço

11. Clique em Salvar.

Para mais informações sobre como conceder papéis, consulte Conceder ao Dataform o acesso necessário.

Criar um repositório do Dataform

1. Noconsole, acesse a página Dataform. Google Cloud

   Acesse Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-dev.

   2. Na lista Região, selecione europe-west4.

   3. Na lista Conta de serviço, selecione uma conta de serviço personalizada para o repositório.

      Observação: se a conta de serviço não aparecer na lista, talvez você não tenha a permissão iam.serviceAccounts.list no nível do projeto. Para selecionar a conta de serviço, clique em Inserir manualmente e digite o ID da conta de serviço.

   4. Na seção Verificações de permissão actAs, aplique as verificações de permissão nas ações do usuário no repositório.

   5. Clique em Criar.

4. Clique em Acessar repositórios.

Configurar substituições de compilação do espaço de trabalho

Para criar ambientes de desenvolvimento isolados com substituições de compilação de espaço de trabalho do Dataform, siga estas etapas:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acesse Dataform

2. Clique em quickstart-dev.

3. Clique em Configurações e em Editar.

4. No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, insira ${workspaceName}.

   Quando você aciona uma execução em um espaço de trabalho, o Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema padrão definido em configurações do fluxo de trabalho. Neste guia de início rápido, usamos as configurações padrão do Dataform com o esquema padrão dataform.

5. Clique em Salvar.

O Dataform aplica substituições de compilação de espaço de trabalho a todos os espaços de trabalho em seu repositório.

Com essa configuração, quando você executa manualmente um fluxo de trabalho em um espaço de trabalho, o Dataform o executa com substituições de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho no esquema dataform_workspaceName no BigQuery, transformando o espaço de trabalho em um ambiente de desenvolvimento isolado.

Por exemplo, quando você aciona manualmente uma execução em um espaço de trabalho sasha, o Dataform executa o fluxo de trabalho no esquema dataform_sasha no BigQuery.

Para executar fluxos de trabalho sem substituições de compilação de espaço de trabalho, mas manter essas substituições para ambientes de desenvolvimento, é possível criar configurações de versão para configurar outros ambientes de execução, por exemplo, staging e production.

Liberar espaço

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir conjuntos de dados criados no BigQuery

Para evitar cobranças por recursos do BigQuery, exclua conjuntos de dados com nomes que começam em dataform, por exemplo, dataform-sasha.

1. Noconsole, acesse a página BigQuery. Google Cloud

   Acessar o BigQuery

2. No painel Explorer, expanda o projeto e selecione um conjunto de dados.

3. Clique no menu Ações e selecione Excluir.

4. Na caixa de diálogo Excluir conjunto de dados , digite delete no campo e clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

1. Noconsole, acesse a página Dataform. Google Cloud

   Acesse Dataform

2. Em quickstart-dev, clique no menu Mais e selecione Excluir.

   1. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

3. Para confirmar, clique em Excluir.

A seguir

• Para saber mais sobre contas de serviço, consulte Sobre contas de serviço personalizadas e agentes de serviço do Dataform.
• Para saber mais sobre o ciclo de vida do código no Dataform, consulte Introdução ao ciclo de vida do código no Dataform.
• Para saber mais sobre as práticas recomendadas para o ciclo de vida do fluxo de trabalho no Dataform, consulte Práticas recomendadas para o ciclo de vida do fluxo de trabalho.
• Para saber mais sobre substituições de compilação do espaço de trabalho no Dataform, consulte Criar substituições de compilação do espaço de trabalho.
• Para saber como programar execuções de produção no Dataform, consulte Programar execuções de produção.