借助部署,您可以安排运行存储在远程 Git 代码库中的代码(例如流水线)。您可以选择代码所在的目录,并执行以下操作:
- 创建和管理与远程代码库关联的部署。
- 配置触发器以从远程代码库拉取代码,并定期运行代码。
- 按时间表或使用其他触发器运行流水线。
- 直接在 Google Cloud 控制台中查看执行日志。对于提醒,Dataform 部署与 Cloud Logging 和 Cloud Monitoring 集成。
限制
- 部署没有内置提醒。您必须使用 Logging 和 Monitoring 来配置提醒。
- 使用 Developer Connect 进行身份验证仅支持连接,而不支持账号连接器。
准备工作
在创建部署之前,请完成以下任务:
- 选择在 Google Cloud 控制台中启用 Pipelines & Connections 页面。
启用 BigQuery API、Dataform API 和 Developer Connect API:
所需角色
如需获得完成本文档中的任务所需的权限,请让您的管理员为您授予以下 IAM 角色:
- Dataform Admin (
roles/dataform.admin) 项目的 - 项目的 BigQuery Job User (
roles/bigquery.jobUser) - 项目的 Developer Connect Viewer (
roles/developerconnect.viewer) -
使用自定义服务帐号运行部署:
Service Account User (
roles/iam.serviceAccountUser) 自定义服务帐号的
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
您也可以通过自定义 角色或其他预定义 角色来获取所需的权限。
如需使用自定义服务帐号运行部署,您还必须向该自定义服务帐号授予
BigQuery Data Editor 角色
(roles/bigquery.dataEditor)。
创建部署
如需创建 Dataform 部署,请执行以下操作:
在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。
依次点击创建 > 创建部署。
选择代码库身份验证类型,然后选择以下选项之一:
Developer Connect
HTTPS
- 输入远程 Git 代码库的网址。
- 选择一个分支。
- 输入代码所在目录的路径。
- 输入包含 HTTPS 远程访问的个人访问令牌的密钥。如需了解详情,请参阅 通过 HTTPS 连接远程仓库。
- 输入部署的名称。
- 选择部署的区域。
在时间表频率 部分中,执行以下操作:
- 在重复频率菜单中,选择安排的流水线运行的频率。
- 在时间 字段中,为安排的流水线运行输入时间。
- 在时区 菜单中,选择时间表的时区。
或者,选择按需 以按需运行部署。
可选:输入 Google Cloud 项目 ID。
可选:输入 架构后缀。
可选:输入 表前缀。
可选:输入 默认架构。
可选:输入 编译变量。
点击部署 。
SSH
- 输入远程 Git 代码库的网址。
- 选择一个分支。
- 输入代码所在目录的路径。
- 输入包含用户私钥和 SSH 公共主机密钥值的密钥。如需了解详情,请参阅 通过 SSH 连接远程仓库。
- 输入部署的名称。
- 选择部署的区域。
在时间表频率 部分中,执行以下操作:
- 在重复频率菜单中,选择安排的流水线运行的频率。
- 在时间 字段中,为安排的流水线运行输入时间。
- 在时区 菜单中,选择时间表的时区。
或者,选择按需 以按需运行部署。
可选:输入 Google Cloud 项目 ID。
可选:输入 架构后缀。
可选:输入 表前缀。
可选:输入 默认架构。
可选:输入 编译变量。
点击部署 。
列出部署
如需列出已创建的部署,请执行以下操作:
在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。
查看部署列表。
创建部署时间表
如需为部署创建时间表,请执行以下操作:
在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。
点击 Deployments 标签页,然后选择一个部署。
在 Deployment details 页面上的 Triggers (workflow configurations) 部分中,点击创建 。
在创建工作流配置 窗格中,按照步骤 创建工作流配置。
运行部署时间表
如需运行部署的时间表,请执行以下操作:
在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。
点击 Deployments 标签页,然后选择一个部署。
在 Triggers (workflow configurations) 部分中,在要运行的 部署时间表旁边,依次点击 查看操作 > 立即运行。
删除部署时间表
如需删除部署的时间表,请执行以下操作:
在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。
点击 Deployments 标签页,然后选择一个部署。
在 Deployment details 页面上的 Triggers (workflow configurations) 部分中,在要删除的部署 时间表旁边,依次点击 查看操作 > 删除。
配置提醒
如需在工作流运行失败时接收通知, 请针对失败的工作流调用配置提醒。