Crie ambientes de programação

Crie ambientes de programação

Este início rápido explica os passos para criar ambientes de desenvolvimento individuais no Dataform, para que cada programador possa trabalhar no seu próprio ambiente de desenvolvimento:

• Crie um repositório do Dataform.
• Conceda as funções necessárias.

• Configure substituições de compilação do espaço de trabalho.

  Configure substituições de compilação que o Dataform aplica a todos os espaços de trabalho no seu repositório, transformando os espaços de trabalho em ambientes de desenvolvimento isolados.

• Limpe os recursos criados.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Além disso, se quiser usar uma conta de serviço personalizada para executar fluxos de trabalho no BigQuery, selecione ou crie uma conta de serviço personalizada.

Funções necessárias

Para receber as autorizações de que precisa para realizar todas as tarefas neste tutorial, peça ao seu administrador para lhe conceder as seguintes funções da IAM:

• Administrador do Dataform (roles/dataform.admin) em repositórios
• Editor do Dataform (roles/dataform.editor) em espaços de trabalho e invocações de fluxo de trabalho
• Utilizador da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada
• Administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin) no projeto

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Conceda as funções necessárias

Para executar fluxos de trabalho no BigQuery, pode usar uma conta de serviço personalizada ou a sua Conta Google (pré-visualização). As secções seguintes descrevem as funções necessárias para a sua conta de serviço personalizada ou a sua Conta Google e para o agente do serviço Dataform predefinido.

Conceda funções à sua conta de serviço personalizada ou Conta Google

Para executar fluxos de trabalho no BigQuery, a sua conta de serviço personalizada ou a sua Conta Google (Pré-visualização) tem de ter as seguintes funções necessárias:

• Editor de dados do BigQuery (roles/bigquery.dataEditor) em projetos aos quais o Dataform precisa de acesso de leitura e escrita, que normalmente inclui o projeto que aloja o seu repositório do Dataform.
• Visualizador de dados do BigQuery (roles/bigquery.dataViewer) em projetos aos quais o Dataform precisa de acesso só de leitura.
• Utilizador da tarefa do BigQuery (roles/bigquery.jobUser) no projeto que aloja o seu repositório do Dataform.

Para conceder funções do BigQuery à sua conta de serviço personalizada ou Conta Google (pré-visualização), siga estes passos:

1. Na Google Cloud consola, aceda à página IAM.

   Aceder ao IAM

2. Clique em Conceder acesso.

3. No campo Novos membros, introduza o ID da conta de serviço personalizada ou o endereço de email da Conta Google (Pré-visualização).

4. No menu Selecionar uma função, selecione as seguintes funções uma a uma, usando a opção Adicionar outra função para cada função adicional:

   • Editor de dados do BigQuery
   • Visualizador de dados do BigQuery
   • Utilizador de tarefas do BigQuery

5. Clique em Guardar.

Conceda funções ao agente do serviço Dataform predefinido

Se estiver a usar uma conta de serviço personalizada para executar fluxos de trabalho no BigQuery, tem de permitir que o Dataform use a sua conta de serviço personalizada. Para conceder a função Criador de tokens da conta de serviço (roles/iam.serviceAccountTokenCreator) ao agente de serviço do Dataform predefinido no recurso da conta de serviço personalizada, siga estes passos:

1. Na Google Cloud consola, aceda a IAM > Contas de serviço.

   Aceda a Contas de serviço

2. Selecione a sua conta de serviço personalizada.

3. Aceda a Entidades com acesso e, de seguida, clique em Conceder acesso.

4. No campo Novos membros, introduza o ID do agente de serviço do Dataform predefinido.

   O ID do agente do serviço Dataform predefinido está no seguinte formato:

   [e-mail]
   

   Substitua PROJECT_NUMBER pelo seu Google Cloud número do projeto.

5. Na lista Selecionar uma função, adicione a função Criador de tokens de contas de serviço.

6. Clique em Guardar.

Crie um repositório do Dataform

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo ID do repositório, introduza quickstart-dev.

   2. Na lista Região, selecione europe-west4.

   3. Clique em Criar.

4. Clique em Aceder aos repositórios.

Configure substituições de compilação do espaço de trabalho

Para criar ambientes de desenvolvimento isolados com substituições de compilação do espaço de trabalho do Dataform, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-dev.

3. Clique em Definições e, de seguida, em Editar.

4. No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, introduza ${workspaceName}.

   Quando aciona uma execução num espaço de trabalho, a app Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema predefinido definido nas definições do fluxo de trabalho. Este início rápido usa as predefinições do Dataform com o esquema predefinido dataform.

5. Clique em Guardar.

O Dataform aplica substituições de compilação do espaço de trabalho a todos os espaços de trabalho no seu repositório.

Com esta configuração, quando executa manualmente um fluxo de trabalho num espaço de trabalho, o Dataform executa-o com substituições de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho no esquema dataform_workspaceName no BigQuery, transformando o espaço de trabalho num ambiente de desenvolvimento isolado.

Por exemplo, quando aciona manualmente uma execução num espaço de trabalho sasha, o Dataform executa o fluxo de trabalho no esquema dataform_sasha no BigQuery.

Para executar fluxos de trabalho sem substituições de compilação do espaço de trabalho, mas manter as substituições de compilação do espaço de trabalho para ambientes de desenvolvimento, pode criar configurações de lançamento para configurar outros ambientes de execução, por exemplo, staging e production.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

Elimine conjuntos de dados criados no BigQuery

Para evitar incorrer em custos por recursos do BigQuery, elimine os conjuntos de dados com nomes que comecem por dataform, por exemplo, dataform-sasha.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o projeto e selecione um conjunto de dados.

3. Clique no menu Ações e, de seguida, selecione Eliminar.

4. Na caixa de diálogo Eliminar conjunto de dados, introduza delete no campo e, de seguida, clique em Eliminar.

Elimine o repositório do Dataform

Não existem custos associados à criação de repositórios do Dataform. No entanto, se quiser eliminar um repositório e todo o respetivo conteúdo, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Em quickstart-dev, clique no menu Mais e, de seguida, selecione Eliminar.

   1. Na janela Eliminar repositório, introduza o nome do repositório para confirmar a eliminação.

3. Para confirmar, clique em Eliminar.

O que se segue?

• Para saber mais sobre as contas de serviço, consulte o artigo Acerca das contas de serviço personalizadas e dos agentes de serviço do Dataform.
• Para saber mais sobre o ciclo de vida do código no Dataform, consulte o artigo Introdução ao ciclo de vida do código no Dataform.
• Para saber mais sobre as práticas recomendadas para o ciclo de vida do fluxo de trabalho no Dataform, consulte o artigo Práticas recomendadas para o ciclo de vida do fluxo de trabalho.
• Para saber mais sobre as substituições de compilação do espaço de trabalho no Dataform, consulte Crie substituições de compilação do espaço de trabalho.
• Para saber como agendar execuções de produção no Dataform, consulte o artigo Agende execuções de produção.