创建开发环境

创建开发环境

本快速入门将引导您完成在 Dataform 中创建各个开发环境的步骤，以便每位开发者都可以在自己的开发环境中工作：

• 创建 Dataform 仓库。
• 授予所需角色。

• 配置工作区编译替换。

  配置 Dataform 应用于仓库中所有工作区的编译替换，将工作区转换为隔离的开发环境。

• 清理创建的资产。

准备工作

登录您的 Google Cloud 账号。如果您是新手 Google Cloud， 请创建一个账号来评估我们的产品在 实际场景中的表现。新客户还可获享 $300 赠金，用于 运行、测试和部署工作负载。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

此外，如果您想使用自定义服务帐号在 BigQuery 中运行工作流，请选择或创建 自定义服务账号。

所需角色

如需获得执行本快速入门中的所有任务所需的权限，请让您的管理员为您授予以下 IAM 角色：

• 仓库的 Dataform Admin (roles/dataform.admin)
• 自定义服务帐号的 Service Account User (roles/iam.serviceAccountUser)
• 项目的 Project IAM Admin (roles/resourcemanager.projectIamAdmin)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义 角色或其他预定义 角色来获取所需的权限。

授予必需的角色

如需在 BigQuery 中运行工作流，您可以使用自定义服务账号或 Google 账号。

您的自定义服务帐号必须具有以下必需的角色：

• BigQuery Data Editor (roles/bigquery.dataEditor) 项目或特定 BigQuery 数据集的 ，Dataform 需要对这些项目或数据集具有读取和写入权限。这通常包括托管 Dataform 仓库的项目。
• BigQuery Data Viewer (roles/bigquery.dataViewer) 项目或特定 BigQuery 数据集的 BigQuery Data Viewer，Dataform 需要对这些项目或数据集具有只读权限。
• BigQuery Job User (roles/bigquery.jobUser) 托管 Dataform 仓库的项目的。

如需让 Dataform 使用您的自定义服务帐号，默认 Dataform 服务代理必须对自定义服务帐号资源具有以下角色：

• Service Account Token Creator (roles/iam.serviceAccountTokenCreator)
• Service Account User (roles/iam.serviceAccountUser)

如需授予这些角色，请按照以下步骤操作：

1. 在 Google Cloud 控制台中，前往 IAM 页面。

   转到 IAM

2. 点击授予访问权限 。

3. 在新的主账号 字段中，输入您的自定义服务帐号 ID。

4. 在选择角色 菜单中，逐个选择以下角色，并为每个其他角色使用添加其他角色 ：

   • BigQuery Data Editor
   • BigQuery Data Viewer
   • BigQuery Job User

5. 点击保存 。

6. 在 Google Cloud 控制台中，前往服务账号页面。

   转到“服务账号”

7. 选择您的自定义服务帐号。

8. 前往有权访问的正文 ，然后点击授予访问权限 。

9. 在新的主账号 字段中，输入您的默认 Dataform 服务代理 ID。

   默认 Dataform 服务代理 ID 采用以下格式：

   [e-mail]
   

   将 PROJECT_NUMBER 替换为您的 Google Cloud 项目的数字 ID。您可以在 Google Cloud 控制台信息中心找到 Google Cloud 项目 ID。如需了解详情，请参阅 标识项目。

10. 在选择角色 列表中，添加以下角色：

    • Service Account User
    • Service Account Token Creator

11. 点击保存 。

如需详细了解如何授予角色，请参阅 向 Dataform 授予所需的访问权限。

创建 Dataform 仓库

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 点击 创建制品库。

3. 在创建仓库页面上，执行以下操作：

   1. 在仓库 ID 字段中，输入 quickstart-dev。

   2. 在区域 列表中，选择 europe-west4。

   3. 在服务账号 列表中，为仓库选择自定义服务帐号。

      注意 ：如果您在列表中没有看到您的服务帐号，则您可能没有项目级 iam.serviceAccounts.list 权限。如需选择服务帐号，请点击手动输入 ，然后输入服务帐号 ID。

   4. 在 actAs 权限检查 部分中，对用户在仓库中的操作强制执行权限检查。

   5. 点击创建 。

4. 点击前往仓库 。

配置工作区编译替换

如需使用 Dataform 工作区编译替换创建隔离的开发环境，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 点击 quickstart-dev。

3. 点击设置，然后点击修改。

4. 在工作区编译替换 窗格的架构后缀 字段中，输入 ${workspaceName}。

   当您在工作区中触发运行作业时，Dataform 会将工作区的名称作为后缀附加到工作流设置中设置的默认架构。本快速入门使用默认的 Dataform 设置和 dataform 默认架构。

5. 点击保存 。

Dataform 会将工作区编译替换应用于您仓库中的所有工作区。

通过此配置，当您在工作区中手动运行工作流时，Dataform 会使用工作区编译替换运行该工作流。 因此，Dataform 在 BigQuery 的 dataform_workspaceName 架构中运行工作流，将 工作区转换为隔离的开发环境。

例如，当您在 sasha 工作区中手动触发运行作业时， Dataform 会在 BigQuery 的 dataform_sasha 架构中运行工作流。

如需在没有工作区编译替换的情况下运行工作流，但针对开发环境保留工作区编译替换，您可以创建发布配置以配置其他执行环境，例如 staging 和 production。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

删除在 BigQuery 中创建的数据集

为避免 BigQuery 资产产生费用，请删除数据集 ，其名称以 dataform 开头，例如 dataform-sasha。

1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

   转到 BigQuery

2. 在探索器 面板中，展开您的项目并选择数据集。

3. 点击 操作 菜单，然后选择 删除。

4. 在删除数据集 对话框中，在字段中输入 delete，然后点击删除 。

删除 Dataform 仓库

创建 Dataform 仓库不会产生任何相关费用。 但是，如果要删除仓库及其所有内容，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 在 quickstart-dev 旁边，点击 更多 菜单，然后选择 删除。

   1. 在删除仓库 窗口中，输入仓库的名称以确认删除。

3. 请点击删除 来确认操作。

后续步骤

• 如需详细了解服务账号，请参阅 自定义服务账号和 Dataform 服务代理简介。
• 如需详细了解 Dataform 中的代码生命周期，请参阅 Dataform 中的代码生命周期简介。
• 如需详细了解 Dataform 中工作流生命周期的最佳实践，请参阅 工作流生命周期的最佳实践。
• 如需详细了解 Dataform 中的工作区编译替换， 请参阅 创建工作区编译替换。
• 如需了解如何在 Dataform 中安排生产运行，请参阅 安排生产运行。