使用自动化流程创建 Spanner 流

本页介绍了如何使用自动化设置流程创建 Spanner 流。

自动流式传输设置可减少您需要执行的步骤，从而简化将数据从 Spanner 数据库迁移到 BigQuery 等目标位置的过程。借助此流程，您可以直接从 Spanner 实例或数据库的概览页面创建数据流。Datastream 可自动保护数据流与源数据库之间的连接，并创建数据库配置和数据流连接资源。

免费层级

借助 Datastream，您可以使用免费层级从 Spanner 流式传输到 BigQuery，每月免费提供最多 100 GiB 的变更数据捕获数据。如需了解详情，请参阅 Datastream 价格。

准备工作

在为 Spanner 配置 Datastream 流之前，请验证您的环境是否满足以下前提条件：

  1. 在 Google Cloud 项目中启用所需的 API：
    • Datastream API (datastream.googleapis.com)
    • Cloud Spanner API (spanner.googleapis.com)
    • BigQuery API (bigquery.googleapis.com)。
  2. 确保您拥有创建和管理 Datastream 资源所需的 Identity and Access Management (IAM) 权限。如需了解详情，请参阅所需权限。

  3. 查看 Spanner 来源限制：

    • 不支持 PROTO 和 ENUM 数据类型列。
    • 不支持 DATE 或 TIMESTAMP 数据类型的数组。
    • 确保您已正确配置变更数据流保留期限。如果 Datastream 滞后于保留期限，您可能会丢失数据，并且数据流可能会失败。

所需权限

如需使用自动数据流创建流程，请确保配置数据流的用户或服务账号具有以下 IAM 角色或权限：

  • Datastream 管理员 (roles/datastream.admin) 或 Datastream 编辑者 (roles/datastream.editor) 角色，以便创建和管理数据流及连接配置文件。
  • 源数据库的 Spanner Database Reader (roles/spanner.databaseReader) 或 Spanner Admin (roles/spanner.admin) 角色，以便访问数据和跟踪更改。
  • 目标数据集的 BigQuery Data Editor 角色。

创建并启动数据流

如需使用自动化流程创建并启动数据流，请执行以下步骤：

控制台

  1. 在 Google Cloud 控制台中，前往 Spanner 实例页面。

前往 Spanner 实例

  1. 选择要从中流式传输数据的 Spanner 实例和数据库。

  2. 通过以下方式之一自动创建并启动数据流：

    • 在实例概览页面中，点击将数据复制到 BigQuery 下的开始数据流。
    • 在数据库概览页面的集成标签页中，点击将数据复制到 BigQuery 下的创建数据流。

  3. 系统会打开开始流式复制数据窗格。

  4. 在直播设置下，查看您创建的直播的默认设置。

  5. 如果您是从实例概览页面创建数据流的，则可以展开相应的下拉菜单并选择其他值，以更改源数据库。

  6. 您可以展开变更数据流下拉菜单，然后选择其他值来更改数据流。

  7. 准备好创建并开始直播后，点击开始直播。

监控数据流

如需在 Google Cloud 控制台的源 Spanner 数据库概览页面中监控基本的数据流详情，请点击变更数据流标签页，然后点击要查看的数据流。

删除数据流

如果您删除使用自动化流程创建的数据流，Datastream 会删除该数据流对象以及为该数据流创建的相关连接配置文件。

不过，如果不再需要任何独立创建的 Spanner 变更数据流或目标资源，您必须手动将其删除。

后续步骤