将数据从 Oracle 数据库复制到 BigQuery

本教程介绍如何使用 Cloud Data Fusion 复制功能部署一个 作业,以将发生更改的数据从 Oracle 数据库持续复制到 BigQuery 数据集。此功能由 Datastream 提供支持。

可选:在 Compute Engine 中安装 Oracle

本部分介绍如何设置示例数据库。如果您已安装 Oracle 数据库,则可以跳过本部分。

  1. 下载 Oracle Server Docker 映像。

    如需了解此 Oracle Express Edition 11g 映像的限制,请参阅 Oracle 数据库版本

  2. 在新的虚拟机实例上部署 Docker 映像。

  3. 在 Compute Engine 磁盘页面上,将磁盘大小更改为 500 GB,然后重启虚拟机。

    转到“磁盘”

  4. 安装 HR 示例架构

为 Oracle 服务器创建 VPC 网络对等互连或防火墙规则

如果您的 Oracle 数据库不允许来自公共 IP 地址的入站流量,请在 Datastream VPC 与可访问 Oracle 数据库的 VPC 之间设置 VPC 网络对等互连。如需了解详情,请参阅创建专用连接配置

如果您的 Oracle 数据库允许来自公共 IP 地址的入站流量,请为虚拟机实例创建防火墙规则,以允许来自 Datastream 公共 IP 地址的入站流量。

配置 Oracle 服务器以启用补充日志记录功能

按照配置源 Oracle 数据库的步骤执行操作。

创建并运行 Cloud Data Fusion 复制作业

创建作业

  1. 在 Cloud Data Fusion 网页界面中,点击复制

  2. 点击 创建复制作业

  3. 创建新的复制作业 (Create new replication job) 页面上,指定复制作业的名称,然后点击下一步

  4. 配置来源:

    1. 选择 Oracle(由 Datastream 提供) (Oracle (by Datastream)) 作为来源。

    2. 对于连接方法,如果您的 Oracle 服务器允许来自 Datastream 公共 IP 地址的入站流量,请选择 IP 许可名单 (IP allowlisting)。否则,对于专用连接名称,选择专用连接(VPC 对等互连),然后输入您在为 Oracle 服务器创建 VPC 网络对等互连或防火墙规则部分中创建的 VPC 对等互连名称。

    3. 对于主机,输入要读取的 Oracle 服务器的主机名。

    4. 对于端口,输入用于连接到 Oracle 服务器的端口:1521。

    5. 对于系统标识,输入 xe(Oracle 服务器的示例数据库名称)。

    6. 在“凭据”部分中,输入用于访问 Oracle 服务器的用户名和密码。

    7. 所有其他属性均保持不变。

  5. 点击下一步

  6. 配置目标:

    1. 选择 BigQuery 目标。

    2. 系统会自动检测项目 ID服务账号密钥。保留默认值。

    3. 可选:在高级部分,您可以配置以下内容:

      • 暂存存储桶的名称和位置
      • 加载间隔
      • 暂存表前缀
      • 丢弃表或数据库时的行为
  7. 点击下一步

  8. 如果连接成功,系统将显示表列表。在本教程中,请选择几个表。

  9. 点击下一步

  10. 审核评估 (Review assessment) 页面上,点击任一表的查看映射 (View mappings),以获取复制期间可能发生的架构问题、功能缺失或连接问题的评估。

    如果出现任何问题,您必须先解决问题,然后才能继续操作。 在本教程中,如果任何表格存在问题,请执行以下操作:

    1. 返回到您选择表的步骤。
    2. 选择一个没有问题的表或事件(插入、更新或删除)。

    如需详细了解从源数据库到 BigQuery 目标数据库的数据类型转换,请参阅复制数据类型

  11. 点击 Back(返回)。

  12. 点击下一步

  13. 查看摘要复制作业详情,然后点击部署复制作业

启动作业

  1. 在 Cloud Data Fusion 网页界面中,前往复制作业详情页面。

  2. 点击开始

复制作业从正在预配依次转换为正在启动正在运行状态。在正在运行状态下,复制作业会将您选择的表数据的初始快照加载到 BigQuery 中。在此状态下,表状态显示为正在截取快照 (Snapshotting)。在初始快照加载到 BigQuery 后,对表所做的任何更改都会复制到 BigQuery,并且表状态会显示为正在复制

监控作业

您可以启动和停止复制作业、查看复制作业的配置和日志以及监控复制作业。

您可以通过复制作业详情页面监控复制作业活动。

  1. 复制页面中,点击所选复制作业的名称

  2. 点击监控

在 BigQuery 中查看结果

复制作业会在 BigQuery 中使用继承自相应 Oracle 数据库的名称和表名称创建复制数据集和表。

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

  2. 在左侧面板中,点击您的项目名称以展开数据集列表。

  3. 选择 xe 数据集,然后选择要查看的表。

如需了解详情,请参阅 BigQuery 文档