Cloud Data Fusion 概览

借助 Cloud Data Fusion，您可以在基于开源项目 CDAP 的全 代管式云原生数据集成服务中构建和编排数据流水线。使用 Cloud Data Fusion 网页界面，您可以连接到数据源、转换数据并将其传输到目标系统，而无需管理基础架构。

开始使用 Cloud Data Fusion

只需几分钟即可开始探索 Cloud Data Fusion。

探索 Cloud Data Fusion

以下部分介绍了 Cloud Data Fusion 的主要组件。

租户项目

构建和编排 Cloud Data Fusion 流水线以及存储流水线元数据所需的一组服务是在租户单元内的 租户 项目中预配的。系统会为每个客户项目创建一个单独的租户项目，并在其中预配 Cloud Data Fusion 实例。租户项目会继承客户项目的所有网络和防火墙配置。

Cloud Data Fusion：控制台

Cloud Data Fusion 控制台（也称为 控制平面 ）是一组 API 操作 和一个网页界面，用于处理 Cloud Data Fusion 实例本身，例如创建、删除、重启和更新实例。

Cloud Data Fusion：Studio

Cloud Data Fusion Studio（也称为 数据平面）是一组 REST API 和网页界面 操作，用于处理流水线和 相关工件的创建、执行和管理。

概念

本部分介绍 Cloud Data Fusion 的一些核心概念。

概念 说明
Cloud Data Fusion 实例
  • Cloud Data Fusion 实例 是 Cloud Data Fusion 的唯一部署。如需开始使用 Cloud Data Fusion，您可以通过 控制台 Google Cloud 创建 Cloud Data Fusion 实例。
  • 您可以在单个 Google Cloud 控制台 项目中创建多个实例，并且可以指定要在哪个 Google Cloud 区域中创建 Cloud Data Fusion 实例。
  • 您可以根据自己的要求和费用限制创建 开发者版、基本版或企业版 实例。
  • 每个 Cloud Data Fusion 实例都包含一个唯一的独立 Cloud Data Fusion 部署，其中包含一组服务， 用于处理流水线生命周期管理、编排、 协调和元数据管理。这些服务在 租户项目中使用 长期运行的资源运行。
命名空间 命名空间是 Cloud Data Fusion 实例中应用、数据和 关联元数据的逻辑分组。您可以将命名空间视为实例的分区。在单个实例中， 一个命名空间独立于另一个命名空间存储实体的数据和元数据。
流水线
  • 流水线是一种以直观方式设计数据和控制 流的方法，用于从各种本地和云数据源提取、转换、混合、汇总和加载数据。
  • 通过构建流水线，您可以创建复杂的数据处理 工作流，帮助您解决数据注入、集成和 迁移问题。您可以根据需要使用 Cloud Data Fusion 构建 批处理流水线和实时流水线。
  • 借助流水线，您可以使用数据的逻辑流来表达数据处理工作流，而 Cloud Data Fusion 则负责处理在执行环境中实际运行所需的所有功能。
流水线节点
  • 在 Cloud Data Fusion 网页界面的 Studio 页面上， 流水线表示为一系列以有向无环图 (DAG) 形式排列的节点， 形成单向流。
  • 节点表示您可以使用 流水线执行的各种操作，例如从来源读取数据、执行数据 转换以及将输出写入接收器。您可以通过将来源、转换、接收器和其他节点连接在一起来在 Cloud Data Fusion 网页界面中开发数据 流水线。
插件
  • 插件是一种可自定义的模块，可用于扩展 Cloud Data Fusion 的 功能。
  • Cloud Data Fusion 为来源、转换、 汇总、接收器、错误收集器、提醒发布者、操作和 运行后操作提供了插件。
  • 插件有时也称为节点，通常是在 Cloud Data Fusion 网页界面上下文中。
  • 如需探索和访问热门 Cloud Data Fusion 插件， 请参阅 Cloud Data Fusion 插件。
Hub 在 Cloud Data Fusion 网页界面中，如需浏览插件、示例 流水线和其他集成，请点击 Hub 。当插件的新 版本发布后，它会在任何兼容的实例 的 Hub 中显示。即使实例是在 插件发布之前创建的，也是如此。
流水线预览
  • 借助 Cloud Data Fusion Studio，您可以使用数据子集上的 预览 功能测试流水线设计的准确性。
  • 预览中的流水线在租户项目中运行。
流水线执行
  • Cloud Data Fusion 会创建临时执行环境来 执行流水线。
  • Cloud Data Fusion 支持将 Managed Service for Apache Spark 作为 执行环境
  • Cloud Data Fusion 会在流水线运行开始时在客户项目中预配一个临时 Managed Service for Apache Spark 集群，使用集群中的 Spark 执行流水线，然后在流水线执行完成后删除该集群。
  • 或者，如果您通过 Terraform 等技术在受控环境中管理 Managed Service for Apache Spark 集群 ，也可以将 Cloud Data Fusion 配置为不预配集群。在 这些环境中，您可以针对现有的 Managed Service for Apache Spark 集群运行流水线。
计算配置文件
  • 计算配置文件 用于指定流水线的执行方式和位置。 配置文件封装了设置和 删除流水线的物理执行环境所需的任何信息。
  • 例如，计算配置文件包括以下内容：
    • 执行预配器
    • 资源（内存和 CPU）
    • 节点数下限和上限
    • 其他值
  • 配置文件通过名称进行标识，并且必须分配有预配器 及其相关配置。配置文件可以存在于 Cloud Data Fusion 实例级层或命名空间级层。
  • Cloud Data Fusion 默认计算配置文件为 Autoscaling。
可重复使用的流水线
  • 借助 Cloud Data Fusion 中的可重复使用的数据流水线，您可以创建一条流水线，将数据集成模式应用于各种使用场景和数据集。
  • 通过在执行时设置流水线的大部分配置，而不是在设计时对其进行硬编码，可重复使用的流水线可以提供更好的可管理性。
触发器
  • Cloud Data Fusion 支持在数据 流水线（称为 下游流水线）上创建触发器，以便在一条或多条不同的流水线（称为 上游流水线）完成后运行该流水线。您可以选择下游流水线的运行时间，例 如在上游流水线运行成功、失败、停止或上述任意组合时运行。
  • 触发器在以下情况下非常有用：
    • 对数据进行一次清理，然后将其提供给 多个下游流水线以供使用。
    • 在流水线之间共享信息，例如运行时实参和插件 配置。这称为 有效负载 配置。
    • 拥有一组动态流水线，这些流水线可以使用小时、天、周或月的数据运行，而不是使用必须在每次运行时更新的静态流水线。

Cloud Data Fusion 资源

探索 Cloud Data Fusion 资源：

后续步骤