使用第三方转移作业

通过适用于 BigQuery Data Transfer Service 的第三方转移作业，您可以自动安排和管理外部数据源（例如 Salesforce CRM、Adobe Analytics、Facebook Ads）的周期性加载作业。

准备工作

创建第三方数据转移作业之前，请执行以下操作：

• 验证您是否已完成启用 BigQuery Data Transfer Service 所需的所有操作。
• 创建一个 BigQuery 数据集来存储数据。
• 请参阅第三方数据源的相关文档，确保您已配置启用转移作业所需的所有权限。
• 如果您要设置 Pub/Sub 的转移作业运行通知，必须拥有 pubsub.topics.setIamPolicy 权限。如果您只想设置电子邮件通知，则无需 Pub/Sub 权限。如需了解详情，请参阅 BigQuery Data Transfer Service 运行通知。

所需 BigQuery 角色

如需获得创建 BigQuery Data Transfer Service 数据转移所需的权限，请让您的管理员为您授予项目的 BigQuery Admin (roles/bigquery.admin) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色包含创建 BigQuery Data Transfer Service 数据转移所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需创建 BigQuery Data Transfer Service 数据转移作业，需要具备以下权限：

• BigQuery Data Transfer Service 权限：
  • bigquery.transfers.update
  • bigquery.transfers.get
• BigQuery 权限：
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需了解详情，请参阅授予 bigquery.admin 访问权限。

限制

第三方转移作业存在以下限制：

• 您必须使用Google Cloud 控制台创建或更新第三方转移作业。
• 您无法使用 bq 命令行工具配置或更新第三方转移作业。

设置第三方数据转移作业

如需使用 Google Cloud 控制台创建第三方数据转移作业，请执行以下操作：

1. 转到 Google Cloud Marketplace。

   转到 Google Cloud Marketplace

2. 点击相应的第三方提供商。

3. 在第三方提供商的相关文档页面上，点击注册。注册过程可能需要一些时间。

4. 注册完成后，点击配置转移作业。

5. 在创建转移作业页面上，执行以下操作：

   • 在来源部分，选择适当的第三方数据源。您可以点击探索数据源，以查看 Google Cloud Marketplace 中的第三方提供商列表。

     

   • 在显示名称部分，输入转移作业的名称，例如 My Transfer。 转移作业名称可以是任何容易辨识的值，方便您以后在需要修改该作业时能轻松识别。

     

   • 在时间安排部分，保留默认值（立即开始），或点击在设置的时间开始 (Start at a set time)。

     • 在重复频率部分，从以下选项中选择转移作业的运行频率。选项包括：

       • 每日一次（默认值）
       • 每周
       • 每月
       • 自定义
       • 按需

       如果您选择除“每日一次”以外的选项，则系统还会提供其他选项。例如，如果您选择“每周一次”，则系统会显示一个选项，供您选择星期几。

     • 在开始日期和运行时间部分，输入开始转移作业的日期和时间。如果您选择的是立即开始，则系统会停用此选项。

       

   • 对于目标数据集，选择您创建用来存储数据的数据集。

     

   • （可选）在通知选项部分，执行以下操作：

     • 点击切换开关以启用电子邮件通知。启用此选项后，转移作业管理员会在转移作业运行失败时收到电子邮件通知。
     • 在选择 Pub/Sub 主题部分，选择您的主题名称，或点击创建主题来创建一个主题。此选项用于为您的转移作业配置 Pub/Sub 运行通知。

6. 点击连接来源。

   注意：如果您未选择目标数据集，则点击连接来源将会出现以下错误：A selected destination dataset is required before connecting to the source.

7. 出现提示时，点击接受以授予 BigQuery Data Transfer Service 连接到数据源以及在 BigQuery 中管理数据的权限。

8. 按照后续页面中的说明配置与外部数据源的连接。

9. 完成配置步骤后，点击保存。

排查第三方转移作业设置问题

如果您在设置转移作业时遇到问题，请咨询相应的第三方供应商。您可以在 Google Cloud Marketplace 的转移作业文档页面上找到联系信息。

查询数据

当数据转移到 BigQuery 时，这些数据会写入注入时间分区表。如需了解详情，请参阅分区表简介。

如果您要直接查询表，而不是使用自动生成的视图，则必须在查询中使用 _PARTITIONTIME 伪列。如需了解详情，请参阅查询分区表。

后续步骤

• 如需大致了解 BigQuery Data Transfer Service，请参阅 BigQuery Data Transfer Service 简介。
• 如需了解如何使用转移作业，包括获取有关转移作业配置的信息、列出转移作业配置以及查看转移作业的运行历史记录，请参阅处理转移作业。