创建和管理部署

借助部署,您可以安排运行存储在远程 Git 代码库中的代码(例如流水线)。您可以选择代码所在的目录,并执行以下操作:

  • 创建和管理与远程代码库关联的部署。
  • 配置触发器以从远程代码库拉取代码,并定期运行代码。
  • 按时间表或使用其他触发器运行流水线。
  • 直接在 Google Cloud 控制台中查看执行日志。对于提醒,Dataform 部署与 Cloud Logging 和 Cloud Monitoring 集成。

限制

  • 部署没有内置提醒。您必须使用 Logging 和 Monitoring 来配置提醒。
  • 使用 Developer Connect 进行身份验证仅支持连接,而不支持账号连接器。

准备工作

在创建部署之前,请完成以下任务:

所需角色

如需获得完成本文档中的任务所需的权限,请让您的管理员为您授予以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义 角色或其他预定义 角色来获取所需的权限。

如需使用自定义服务帐号运行部署,您还必须向该自定义服务帐号授予 BigQuery Data Editor 角色 (roles/bigquery.dataEditor)。

创建部署

如需创建 Dataform 部署,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。

    前往 Pipelines &Connections

  2. 依次点击创建 > 创建部署

  3. 选择代码库身份验证类型,然后选择以下选项之一:

    Developer Connect

    1. 选择代码库和分支。
    2. 输入代码所在目录的路径。
    3. 输入部署的名称。
    4. 选择部署的区域。
    5. 时间表频率 部分中,执行以下操作:

      1. 重复频率菜单中,选择安排的流水线运行的频率。
      2. 时间 字段中,为安排的流水线运行输入时间。
      3. 时区 菜单中,选择时间表的时区。

      或者,选择按需 以按需运行部署。

    6. 可选:输入 Google Cloud 项目 ID。

    7. 可选:输入 架构后缀

    8. 可选:输入 表前缀

    9. 可选:输入 默认架构

    10. 可选:输入 编译变量

    11. 点击部署

    HTTPS

    1. 输入远程 Git 代码库的网址。
    2. 选择一个分支。
    3. 输入代码所在目录的路径。
    4. 输入包含 HTTPS 远程访问的个人访问令牌的密钥。如需了解详情,请参阅 通过 HTTPS 连接远程仓库
    5. 输入部署的名称。
    6. 选择部署的区域。
    7. 时间表频率 部分中,执行以下操作:

      1. 重复频率菜单中,选择安排的流水线运行的频率。
      2. 时间 字段中,为安排的流水线运行输入时间。
      3. 时区 菜单中,选择时间表的时区。

      或者,选择按需 以按需运行部署。

    8. 可选:输入 Google Cloud 项目 ID。

    9. 可选:输入 架构后缀

    10. 可选:输入 表前缀

    11. 可选:输入 默认架构

    12. 可选:输入 编译变量

    13. 点击部署

    SSH

    1. 输入远程 Git 代码库的网址。
    2. 选择一个分支。
    3. 输入代码所在目录的路径。
    4. 输入包含用户私钥和 SSH 公共主机密钥值的密钥。如需了解详情,请参阅 通过 SSH 连接远程仓库
    5. 输入部署的名称。
    6. 选择部署的区域。
    7. 时间表频率 部分中,执行以下操作:

      1. 重复频率菜单中,选择安排的流水线运行的频率。
      2. 时间 字段中,为安排的流水线运行输入时间。
      3. 时区 菜单中,选择时间表的时区。

      或者,选择按需 以按需运行部署。

    8. 可选:输入 Google Cloud 项目 ID。

    9. 可选:输入 架构后缀

    10. 可选:输入 表前缀

    11. 可选:输入 默认架构

    12. 可选:输入 编译变量

    13. 点击部署

列出部署

如需列出已创建的部署,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。

    前往 Pipelines &Connections

  2. 查看部署列表。

创建部署时间表

如需为部署创建时间表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。

    前往 Pipelines &Connections

  2. 点击 Deployments 标签页,然后选择一个部署。

  3. Deployment details 页面上的 Triggers (workflow configurations) 部分中,点击创建

  4. 创建工作流配置 窗格中,按照步骤 创建工作流配置

运行部署时间表

如需运行部署的时间表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。

    前往 Pipelines &Connections

  2. 点击 Deployments 标签页,然后选择一个部署。

  3. Triggers (workflow configurations) 部分中,在要运行的 部署时间表旁边,依次点击 查看操作 > 立即运行

删除部署时间表

如需删除部署的时间表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 Pipelines & Connections 页面。

    前往 Pipelines &Connections

  2. 点击 Deployments 标签页,然后选择一个部署。

  3. Deployment details 页面上的 Triggers (workflow configurations) 部分中,在要删除的部署 时间表旁边,依次点击 查看操作 > 删除

配置提醒

如需在工作流运行失败时接收通知, 请针对失败的工作流调用配置提醒

后续步骤