Criar ambientes de desenvolvimento

Criar ambientes de desenvolvimento

Neste guia de início rápido, mostramos as etapas para criar ambientes de desenvolvimento individuais no Dataform, para que cada desenvolvedor possa trabalhar no próprio ambiente de desenvolvimento:

• Crie um repositório do Dataform.
• Conceda os papéis necessários.

• Configurar substituições de compilação do espaço de trabalho.

  Configure substituições de compilação que o Dataform aplica a todos os espaços de trabalho no repositório, transformando-os em ambientes de desenvolvimento isolados.

• Limpe os recursos criados.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Além disso, se você quiser usar uma conta de serviço personalizada para executar fluxos de trabalho no BigQuery, selecione ou crie uma conta de serviço personalizada.

Funções exigidas

Para receber as permissões necessárias para realizar todas as tarefas deste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador do Dataform (roles/dataform.admin) em repositórios
• Editor do Dataform (roles/dataform.editor) em espaços de trabalho e invocações de fluxo de trabalho
• Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada
• Administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin) no projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Conceder os papéis necessários

Para executar fluxos de trabalho no BigQuery, use uma conta de serviço personalizada ou sua Conta do Google (prévia). As seções a seguir descrevem os papéis necessários para sua conta de serviço personalizada ou sua Conta do Google e para o agente de serviço padrão do Dataform.

Conceder papéis à sua conta de serviço personalizada ou Conta do Google

Para executar fluxos de trabalho no BigQuery, sua conta de serviço personalizada ou sua Conta do Google (prévia) precisa ter os seguintes papéis obrigatórios:

• Editor de dados do BigQuery (roles/bigquery.dataEditor) em projetos em que o Dataform precisa de acesso de leitura e gravação, o que geralmente inclui o projeto que hospeda seu repositório do Dataform.
• Leitor de dados do BigQuery (roles/bigquery.dataViewer) em projetos que precisam de acesso somente leitura do Dataform.
• Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto que hospeda seu repositório do Dataform.

Para conceder papéis do BigQuery à sua conta de serviço personalizada ou Conta do Google (Prévia), siga estas etapas:

1. No console do Google Cloud , acesse a página IAM.

   Acessar IAM

2. Clique em Conceder acesso.

3. No campo Novos principais, insira o ID da conta de serviço personalizada ou o endereço de e-mail da Conta do Google (Prévia).

4. No menu Selecionar um papel, escolha os seguintes papéis um por um, usando Adicionar outro papel para cada papel adicional:

   • Editor de dados do BigQuery
   • Visualizador de dados do BigQuery
   • Usuário de jobs do BigQuery

5. Clique em Salvar.

Conceder papéis ao agente de serviço padrão do Dataform

Se você estiver usando uma conta de serviço personalizada para executar fluxos de trabalho no BigQuery, permita que o Dataform use essa conta. Para conceder o papel Criador de token da conta de serviço (roles/iam.serviceAccountTokenCreator) ao agente de serviço padrão do Dataform no recurso de conta de serviço personalizada, siga estas etapas:

1. No console Google Cloud , acesse IAM > Contas de serviço.

   Acesse as Contas de serviço

2. Selecione sua conta de serviço personalizada.

3. Acesse Principais com acesso e clique em Conceder acesso.

4. No campo Novos principais, insira o ID do agente de serviço padrão do Dataform.

   O ID do agente de serviço padrão do Dataform está no seguinte formato:

   [e-mail]
   

   Substitua PROJECT_NUMBER pelo número do projeto doGoogle Cloud .

5. Na lista Selecionar um papel, adicione o papel Criador de token de conta de serviço.

6. Clique em Salvar.

Criar um repositório do Dataform

1. No Google Cloud console, acesse a página Dataform.

   Acesse o Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-dev.

   2. Na lista Região, selecione europe-west4.

   3. Clique em Criar.

4. Clique em Acessar repositórios.

Configurar substituições de compilação do espaço de trabalho

Para criar ambientes de desenvolvimento isolados com substituições de compilação de espaço de trabalho do Dataform, siga estas etapas:

1. No Google Cloud console, acesse a página Dataform.

   Acesse o Dataform

2. Clique em quickstart-dev.

3. Clique em Configurações e em Editar.

4. No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, insira ${workspaceName}.

   Quando você aciona uma execução em um espaço de trabalho, o Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema padrão definido nas configurações de fluxo de trabalho. Neste guia de início rápido, usamos as configurações padrão do Dataform com o esquema padrão dataform.

5. Clique em Salvar.

O Dataform aplica substituições de compilação de espaço de trabalho a todos os espaços de trabalho no repositório.

Com essa configuração, quando você executa manualmente um fluxo de trabalho em um espaço de trabalho, o Dataform o executa com substituições de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho no esquema dataform_workspaceName no BigQuery, transformando o espaço de trabalho em um ambiente de desenvolvimento isolado.

Por exemplo, quando você aciona manualmente uma execução em um espaço de trabalho sasha, o Dataform executa seu fluxo de trabalho no esquema dataform_sasha no BigQuery.

Para executar fluxos de trabalho sem substituições de compilação de espaço de trabalho, mas manter essas substituições para ambientes de desenvolvimento, é possível criar configurações de lançamento para configurar outros ambientes de execução, por exemplo, staging e production.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir conjuntos de dados criados no BigQuery

Para evitar cobranças por recursos do BigQuery, exclua conjuntos de dados com nomes que começam em dataform, por exemplo, dataform-sasha.

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, expanda o projeto e selecione um conjunto de dados.

3. Clique no menu Ações e selecione Excluir.

4. Na caixa de diálogo Excluir conjunto de dados, digite delete no campo e clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

1. No Google Cloud console, acesse a página Dataform.

   Acesse o Dataform

2. Em quickstart-dev, clique no menu Mais e selecione Excluir.

   1. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

3. Para confirmar, clique em Excluir.

A seguir

• Para saber mais sobre contas de serviço, consulte Sobre contas de serviço personalizadas e agentes de serviço do Dataform.
• Para saber mais sobre o ciclo de vida do código no Dataform, consulte Introdução ao ciclo de vida do código no Dataform.
• Para saber mais sobre as práticas recomendadas para o ciclo de vida do fluxo de trabalho no Dataform, consulte Práticas recomendadas para o ciclo de vida do fluxo de trabalho.
• Para saber mais sobre as substituições de compilação do espaço de trabalho no Dataform, consulte Criar substituições de compilação do espaço de trabalho.
• Para saber como programar execuções de produção no Dataform, consulte Programar execuções de produção.